diff --git "a/trainer_state.json" "b/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/trainer_state.json"
@@ -0,0 +1,10542 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 3.0,
+  "eval_steps": 500,
+  "global_step": 750000,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.002,
+      "grad_norm": 4.8645100593566895,
+      "learning_rate": 4.996666666666667e-05,
+      "loss": 2.7797,
+      "step": 500
+    },
+    {
+      "epoch": 0.004,
+      "grad_norm": 5.379912853240967,
+      "learning_rate": 4.993333333333334e-05,
+      "loss": 2.6052,
+      "step": 1000
+    },
+    {
+      "epoch": 0.006,
+      "grad_norm": 3.9640469551086426,
+      "learning_rate": 4.99e-05,
+      "loss": 2.558,
+      "step": 1500
+    },
+    {
+      "epoch": 0.008,
+      "grad_norm": 3.1447696685791016,
+      "learning_rate": 4.986666666666667e-05,
+      "loss": 2.535,
+      "step": 2000
+    },
+    {
+      "epoch": 0.01,
+      "grad_norm": 4.1346330642700195,
+      "learning_rate": 4.9833333333333336e-05,
+      "loss": 2.4799,
+      "step": 2500
+    },
+    {
+      "epoch": 0.012,
+      "grad_norm": 4.81771183013916,
+      "learning_rate": 4.9800000000000004e-05,
+      "loss": 2.445,
+      "step": 3000
+    },
+    {
+      "epoch": 0.014,
+      "grad_norm": 3.2848784923553467,
+      "learning_rate": 4.9766666666666666e-05,
+      "loss": 2.5137,
+      "step": 3500
+    },
+    {
+      "epoch": 0.016,
+      "grad_norm": 4.020968437194824,
+      "learning_rate": 4.973333333333334e-05,
+      "loss": 2.4714,
+      "step": 4000
+    },
+    {
+      "epoch": 0.018,
+      "grad_norm": 3.6858625411987305,
+      "learning_rate": 4.97e-05,
+      "loss": 2.4405,
+      "step": 4500
+    },
+    {
+      "epoch": 0.02,
+      "grad_norm": 5.601511478424072,
+      "learning_rate": 4.966666666666667e-05,
+      "loss": 2.4184,
+      "step": 5000
+    },
+    {
+      "epoch": 0.022,
+      "grad_norm": 4.523524761199951,
+      "learning_rate": 4.963333333333334e-05,
+      "loss": 2.4376,
+      "step": 5500
+    },
+    {
+      "epoch": 0.024,
+      "grad_norm": 3.962721347808838,
+      "learning_rate": 4.96e-05,
+      "loss": 2.4003,
+      "step": 6000
+    },
+    {
+      "epoch": 0.026,
+      "grad_norm": 6.19443416595459,
+      "learning_rate": 4.956666666666667e-05,
+      "loss": 2.4151,
+      "step": 6500
+    },
+    {
+      "epoch": 0.028,
+      "grad_norm": 4.02651309967041,
+      "learning_rate": 4.9533333333333336e-05,
+      "loss": 2.3803,
+      "step": 7000
+    },
+    {
+      "epoch": 0.03,
+      "grad_norm": 4.385961055755615,
+      "learning_rate": 4.9500000000000004e-05,
+      "loss": 2.3912,
+      "step": 7500
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 4.189236640930176,
+      "learning_rate": 4.9466666666666665e-05,
+      "loss": 2.3441,
+      "step": 8000
+    },
+    {
+      "epoch": 0.034,
+      "grad_norm": 3.693387508392334,
+      "learning_rate": 4.943333333333334e-05,
+      "loss": 2.3357,
+      "step": 8500
+    },
+    {
+      "epoch": 0.036,
+      "grad_norm": 2.807659149169922,
+      "learning_rate": 4.94e-05,
+      "loss": 2.3653,
+      "step": 9000
+    },
+    {
+      "epoch": 0.038,
+      "grad_norm": 3.522406816482544,
+      "learning_rate": 4.936666666666667e-05,
+      "loss": 2.3387,
+      "step": 9500
+    },
+    {
+      "epoch": 0.04,
+      "grad_norm": 5.274356842041016,
+      "learning_rate": 4.933333333333334e-05,
+      "loss": 2.2758,
+      "step": 10000
+    },
+    {
+      "epoch": 0.042,
+      "grad_norm": 3.6869125366210938,
+      "learning_rate": 4.93e-05,
+      "loss": 2.3385,
+      "step": 10500
+    },
+    {
+      "epoch": 0.044,
+      "grad_norm": 3.541245460510254,
+      "learning_rate": 4.926666666666667e-05,
+      "loss": 2.313,
+      "step": 11000
+    },
+    {
+      "epoch": 0.046,
+      "grad_norm": 3.681368589401245,
+      "learning_rate": 4.9233333333333335e-05,
+      "loss": 2.3263,
+      "step": 11500
+    },
+    {
+      "epoch": 0.048,
+      "grad_norm": 5.731677055358887,
+      "learning_rate": 4.92e-05,
+      "loss": 2.3098,
+      "step": 12000
+    },
+    {
+      "epoch": 0.05,
+      "grad_norm": 3.5993146896362305,
+      "learning_rate": 4.9166666666666665e-05,
+      "loss": 2.3609,
+      "step": 12500
+    },
+    {
+      "epoch": 0.052,
+      "grad_norm": 3.599547863006592,
+      "learning_rate": 4.913333333333334e-05,
+      "loss": 2.3419,
+      "step": 13000
+    },
+    {
+      "epoch": 0.054,
+      "grad_norm": 4.167891502380371,
+      "learning_rate": 4.91e-05,
+      "loss": 2.2413,
+      "step": 13500
+    },
+    {
+      "epoch": 0.056,
+      "grad_norm": 3.4915518760681152,
+      "learning_rate": 4.906666666666667e-05,
+      "loss": 2.3372,
+      "step": 14000
+    },
+    {
+      "epoch": 0.058,
+      "grad_norm": 5.390059471130371,
+      "learning_rate": 4.903333333333334e-05,
+      "loss": 2.3426,
+      "step": 14500
+    },
+    {
+      "epoch": 0.06,
+      "grad_norm": 4.040329456329346,
+      "learning_rate": 4.9e-05,
+      "loss": 2.3551,
+      "step": 15000
+    },
+    {
+      "epoch": 0.062,
+      "grad_norm": 4.870177268981934,
+      "learning_rate": 4.8966666666666667e-05,
+      "loss": 2.2974,
+      "step": 15500
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 2.722949743270874,
+      "learning_rate": 4.8933333333333335e-05,
+      "loss": 2.2941,
+      "step": 16000
+    },
+    {
+      "epoch": 0.066,
+      "grad_norm": 3.273509979248047,
+      "learning_rate": 4.89e-05,
+      "loss": 2.3103,
+      "step": 16500
+    },
+    {
+      "epoch": 0.068,
+      "grad_norm": 4.021369934082031,
+      "learning_rate": 4.886666666666667e-05,
+      "loss": 2.2787,
+      "step": 17000
+    },
+    {
+      "epoch": 0.07,
+      "grad_norm": 4.276086330413818,
+      "learning_rate": 4.883333333333334e-05,
+      "loss": 2.2616,
+      "step": 17500
+    },
+    {
+      "epoch": 0.072,
+      "grad_norm": 3.5050389766693115,
+      "learning_rate": 4.88e-05,
+      "loss": 2.2795,
+      "step": 18000
+    },
+    {
+      "epoch": 0.074,
+      "grad_norm": 4.199524402618408,
+      "learning_rate": 4.876666666666667e-05,
+      "loss": 2.2871,
+      "step": 18500
+    },
+    {
+      "epoch": 0.076,
+      "grad_norm": 4.081117630004883,
+      "learning_rate": 4.8733333333333337e-05,
+      "loss": 2.2821,
+      "step": 19000
+    },
+    {
+      "epoch": 0.078,
+      "grad_norm": 3.5695736408233643,
+      "learning_rate": 4.87e-05,
+      "loss": 2.3156,
+      "step": 19500
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 5.097811222076416,
+      "learning_rate": 4.866666666666667e-05,
+      "loss": 2.311,
+      "step": 20000
+    },
+    {
+      "epoch": 0.082,
+      "grad_norm": 2.6825947761535645,
+      "learning_rate": 4.8633333333333334e-05,
+      "loss": 2.3048,
+      "step": 20500
+    },
+    {
+      "epoch": 0.084,
+      "grad_norm": 3.4080872535705566,
+      "learning_rate": 4.86e-05,
+      "loss": 2.2669,
+      "step": 21000
+    },
+    {
+      "epoch": 0.086,
+      "grad_norm": 4.328364372253418,
+      "learning_rate": 4.856666666666667e-05,
+      "loss": 2.2935,
+      "step": 21500
+    },
+    {
+      "epoch": 0.088,
+      "grad_norm": 4.735811233520508,
+      "learning_rate": 4.853333333333334e-05,
+      "loss": 2.2341,
+      "step": 22000
+    },
+    {
+      "epoch": 0.09,
+      "grad_norm": 4.199121475219727,
+      "learning_rate": 4.85e-05,
+      "loss": 2.2832,
+      "step": 22500
+    },
+    {
+      "epoch": 0.092,
+      "grad_norm": 3.812959909439087,
+      "learning_rate": 4.8466666666666675e-05,
+      "loss": 2.2997,
+      "step": 23000
+    },
+    {
+      "epoch": 0.094,
+      "grad_norm": 5.936341285705566,
+      "learning_rate": 4.8433333333333336e-05,
+      "loss": 2.2248,
+      "step": 23500
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 3.2249481678009033,
+      "learning_rate": 4.8400000000000004e-05,
+      "loss": 2.2531,
+      "step": 24000
+    },
+    {
+      "epoch": 0.098,
+      "grad_norm": 5.251713275909424,
+      "learning_rate": 4.836666666666667e-05,
+      "loss": 2.2289,
+      "step": 24500
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 3.292351007461548,
+      "learning_rate": 4.8333333333333334e-05,
+      "loss": 2.2534,
+      "step": 25000
+    },
+    {
+      "epoch": 0.102,
+      "grad_norm": 2.7489211559295654,
+      "learning_rate": 4.83e-05,
+      "loss": 2.2509,
+      "step": 25500
+    },
+    {
+      "epoch": 0.104,
+      "grad_norm": 2.556155204772949,
+      "learning_rate": 4.826666666666667e-05,
+      "loss": 2.2749,
+      "step": 26000
+    },
+    {
+      "epoch": 0.106,
+      "grad_norm": 3.8081729412078857,
+      "learning_rate": 4.823333333333334e-05,
+      "loss": 2.2825,
+      "step": 26500
+    },
+    {
+      "epoch": 0.108,
+      "grad_norm": 3.964282751083374,
+      "learning_rate": 4.82e-05,
+      "loss": 2.1973,
+      "step": 27000
+    },
+    {
+      "epoch": 0.11,
+      "grad_norm": 3.4347293376922607,
+      "learning_rate": 4.8166666666666674e-05,
+      "loss": 2.2707,
+      "step": 27500
+    },
+    {
+      "epoch": 0.112,
+      "grad_norm": 4.294029235839844,
+      "learning_rate": 4.8133333333333336e-05,
+      "loss": 2.1915,
+      "step": 28000
+    },
+    {
+      "epoch": 0.114,
+      "grad_norm": 4.330965518951416,
+      "learning_rate": 4.8100000000000004e-05,
+      "loss": 2.1753,
+      "step": 28500
+    },
+    {
+      "epoch": 0.116,
+      "grad_norm": 4.579583644866943,
+      "learning_rate": 4.806666666666667e-05,
+      "loss": 2.2813,
+      "step": 29000
+    },
+    {
+      "epoch": 0.118,
+      "grad_norm": 3.2384727001190186,
+      "learning_rate": 4.803333333333333e-05,
+      "loss": 2.2486,
+      "step": 29500
+    },
+    {
+      "epoch": 0.12,
+      "grad_norm": 2.8345494270324707,
+      "learning_rate": 4.8e-05,
+      "loss": 2.2553,
+      "step": 30000
+    },
+    {
+      "epoch": 0.122,
+      "grad_norm": 3.484576463699341,
+      "learning_rate": 4.796666666666667e-05,
+      "loss": 2.2019,
+      "step": 30500
+    },
+    {
+      "epoch": 0.124,
+      "grad_norm": 3.3220837116241455,
+      "learning_rate": 4.793333333333334e-05,
+      "loss": 2.2267,
+      "step": 31000
+    },
+    {
+      "epoch": 0.126,
+      "grad_norm": 4.989398002624512,
+      "learning_rate": 4.79e-05,
+      "loss": 2.1817,
+      "step": 31500
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 3.302114248275757,
+      "learning_rate": 4.7866666666666674e-05,
+      "loss": 2.224,
+      "step": 32000
+    },
+    {
+      "epoch": 0.13,
+      "grad_norm": 3.5390403270721436,
+      "learning_rate": 4.7833333333333335e-05,
+      "loss": 2.2016,
+      "step": 32500
+    },
+    {
+      "epoch": 0.132,
+      "grad_norm": 2.661050319671631,
+      "learning_rate": 4.78e-05,
+      "loss": 2.1926,
+      "step": 33000
+    },
+    {
+      "epoch": 0.134,
+      "grad_norm": 3.876189947128296,
+      "learning_rate": 4.776666666666667e-05,
+      "loss": 2.2749,
+      "step": 33500
+    },
+    {
+      "epoch": 0.136,
+      "grad_norm": 4.3662800788879395,
+      "learning_rate": 4.773333333333333e-05,
+      "loss": 2.1771,
+      "step": 34000
+    },
+    {
+      "epoch": 0.138,
+      "grad_norm": 3.5553414821624756,
+      "learning_rate": 4.77e-05,
+      "loss": 2.2333,
+      "step": 34500
+    },
+    {
+      "epoch": 0.14,
+      "grad_norm": 3.3606815338134766,
+      "learning_rate": 4.766666666666667e-05,
+      "loss": 2.2021,
+      "step": 35000
+    },
+    {
+      "epoch": 0.142,
+      "grad_norm": 2.821028232574463,
+      "learning_rate": 4.763333333333334e-05,
+      "loss": 2.1815,
+      "step": 35500
+    },
+    {
+      "epoch": 0.144,
+      "grad_norm": 3.8814945220947266,
+      "learning_rate": 4.76e-05,
+      "loss": 2.2017,
+      "step": 36000
+    },
+    {
+      "epoch": 0.146,
+      "grad_norm": 4.055913925170898,
+      "learning_rate": 4.756666666666667e-05,
+      "loss": 2.1921,
+      "step": 36500
+    },
+    {
+      "epoch": 0.148,
+      "grad_norm": 2.8168225288391113,
+      "learning_rate": 4.7533333333333334e-05,
+      "loss": 2.215,
+      "step": 37000
+    },
+    {
+      "epoch": 0.15,
+      "grad_norm": 2.923954725265503,
+      "learning_rate": 4.75e-05,
+      "loss": 2.1728,
+      "step": 37500
+    },
+    {
+      "epoch": 0.152,
+      "grad_norm": 3.0966224670410156,
+      "learning_rate": 4.746666666666667e-05,
+      "loss": 2.1879,
+      "step": 38000
+    },
+    {
+      "epoch": 0.154,
+      "grad_norm": 3.9779932498931885,
+      "learning_rate": 4.743333333333333e-05,
+      "loss": 2.1823,
+      "step": 38500
+    },
+    {
+      "epoch": 0.156,
+      "grad_norm": 3.8520679473876953,
+      "learning_rate": 4.74e-05,
+      "loss": 2.2028,
+      "step": 39000
+    },
+    {
+      "epoch": 0.158,
+      "grad_norm": 3.9359588623046875,
+      "learning_rate": 4.736666666666667e-05,
+      "loss": 2.1436,
+      "step": 39500
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 3.2693755626678467,
+      "learning_rate": 4.7333333333333336e-05,
+      "loss": 2.1961,
+      "step": 40000
+    },
+    {
+      "epoch": 0.162,
+      "grad_norm": 2.5243139266967773,
+      "learning_rate": 4.73e-05,
+      "loss": 2.1738,
+      "step": 40500
+    },
+    {
+      "epoch": 0.164,
+      "grad_norm": 4.016306400299072,
+      "learning_rate": 4.726666666666667e-05,
+      "loss": 2.1829,
+      "step": 41000
+    },
+    {
+      "epoch": 0.166,
+      "grad_norm": 3.190603017807007,
+      "learning_rate": 4.7233333333333334e-05,
+      "loss": 2.2625,
+      "step": 41500
+    },
+    {
+      "epoch": 0.168,
+      "grad_norm": 5.114010810852051,
+      "learning_rate": 4.72e-05,
+      "loss": 2.1802,
+      "step": 42000
+    },
+    {
+      "epoch": 0.17,
+      "grad_norm": 3.469277858734131,
+      "learning_rate": 4.716666666666667e-05,
+      "loss": 2.2688,
+      "step": 42500
+    },
+    {
+      "epoch": 0.172,
+      "grad_norm": 3.814119577407837,
+      "learning_rate": 4.713333333333333e-05,
+      "loss": 2.1262,
+      "step": 43000
+    },
+    {
+      "epoch": 0.174,
+      "grad_norm": 4.100981712341309,
+      "learning_rate": 4.71e-05,
+      "loss": 2.1781,
+      "step": 43500
+    },
+    {
+      "epoch": 0.176,
+      "grad_norm": 4.354139804840088,
+      "learning_rate": 4.706666666666667e-05,
+      "loss": 2.2184,
+      "step": 44000
+    },
+    {
+      "epoch": 0.178,
+      "grad_norm": 4.569510459899902,
+      "learning_rate": 4.7033333333333336e-05,
+      "loss": 2.1911,
+      "step": 44500
+    },
+    {
+      "epoch": 0.18,
+      "grad_norm": 3.179772138595581,
+      "learning_rate": 4.7e-05,
+      "loss": 2.1917,
+      "step": 45000
+    },
+    {
+      "epoch": 0.182,
+      "grad_norm": 3.42645525932312,
+      "learning_rate": 4.696666666666667e-05,
+      "loss": 2.1263,
+      "step": 45500
+    },
+    {
+      "epoch": 0.184,
+      "grad_norm": 5.382231712341309,
+      "learning_rate": 4.6933333333333333e-05,
+      "loss": 2.2493,
+      "step": 46000
+    },
+    {
+      "epoch": 0.186,
+      "grad_norm": 5.931434631347656,
+      "learning_rate": 4.69e-05,
+      "loss": 2.1616,
+      "step": 46500
+    },
+    {
+      "epoch": 0.188,
+      "grad_norm": 2.6758346557617188,
+      "learning_rate": 4.686666666666667e-05,
+      "loss": 2.1895,
+      "step": 47000
+    },
+    {
+      "epoch": 0.19,
+      "grad_norm": 4.499919891357422,
+      "learning_rate": 4.683333333333334e-05,
+      "loss": 2.1534,
+      "step": 47500
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 3.2183690071105957,
+      "learning_rate": 4.6800000000000006e-05,
+      "loss": 2.2583,
+      "step": 48000
+    },
+    {
+      "epoch": 0.194,
+      "grad_norm": 2.868917226791382,
+      "learning_rate": 4.676666666666667e-05,
+      "loss": 2.1716,
+      "step": 48500
+    },
+    {
+      "epoch": 0.196,
+      "grad_norm": 3.731288433074951,
+      "learning_rate": 4.6733333333333335e-05,
+      "loss": 2.2447,
+      "step": 49000
+    },
+    {
+      "epoch": 0.198,
+      "grad_norm": 3.4196813106536865,
+      "learning_rate": 4.6700000000000003e-05,
+      "loss": 2.1791,
+      "step": 49500
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 4.53775691986084,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 2.1751,
+      "step": 50000
+    },
+    {
+      "epoch": 0.202,
+      "grad_norm": 3.948880195617676,
+      "learning_rate": 4.663333333333333e-05,
+      "loss": 2.202,
+      "step": 50500
+    },
+    {
+      "epoch": 0.204,
+      "grad_norm": 5.424979209899902,
+      "learning_rate": 4.660000000000001e-05,
+      "loss": 2.1322,
+      "step": 51000
+    },
+    {
+      "epoch": 0.206,
+      "grad_norm": 3.3181073665618896,
+      "learning_rate": 4.656666666666667e-05,
+      "loss": 2.1802,
+      "step": 51500
+    },
+    {
+      "epoch": 0.208,
+      "grad_norm": 3.727454662322998,
+      "learning_rate": 4.653333333333334e-05,
+      "loss": 2.1418,
+      "step": 52000
+    },
+    {
+      "epoch": 0.21,
+      "grad_norm": 4.028873920440674,
+      "learning_rate": 4.6500000000000005e-05,
+      "loss": 2.1675,
+      "step": 52500
+    },
+    {
+      "epoch": 0.212,
+      "grad_norm": 4.989190578460693,
+      "learning_rate": 4.646666666666667e-05,
+      "loss": 2.1399,
+      "step": 53000
+    },
+    {
+      "epoch": 0.214,
+      "grad_norm": 3.221280813217163,
+      "learning_rate": 4.6433333333333335e-05,
+      "loss": 2.1777,
+      "step": 53500
+    },
+    {
+      "epoch": 0.216,
+      "grad_norm": 3.428086519241333,
+      "learning_rate": 4.64e-05,
+      "loss": 2.1646,
+      "step": 54000
+    },
+    {
+      "epoch": 0.218,
+      "grad_norm": 3.5606329441070557,
+      "learning_rate": 4.636666666666667e-05,
+      "loss": 2.1985,
+      "step": 54500
+    },
+    {
+      "epoch": 0.22,
+      "grad_norm": 4.00446081161499,
+      "learning_rate": 4.633333333333333e-05,
+      "loss": 2.1758,
+      "step": 55000
+    },
+    {
+      "epoch": 0.222,
+      "grad_norm": 3.827890157699585,
+      "learning_rate": 4.630000000000001e-05,
+      "loss": 2.1452,
+      "step": 55500
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 3.6797239780426025,
+      "learning_rate": 4.626666666666667e-05,
+      "loss": 2.1319,
+      "step": 56000
+    },
+    {
+      "epoch": 0.226,
+      "grad_norm": 2.939504623413086,
+      "learning_rate": 4.623333333333334e-05,
+      "loss": 2.1941,
+      "step": 56500
+    },
+    {
+      "epoch": 0.228,
+      "grad_norm": 2.9682395458221436,
+      "learning_rate": 4.6200000000000005e-05,
+      "loss": 2.1591,
+      "step": 57000
+    },
+    {
+      "epoch": 0.23,
+      "grad_norm": 2.7204818725585938,
+      "learning_rate": 4.6166666666666666e-05,
+      "loss": 2.1492,
+      "step": 57500
+    },
+    {
+      "epoch": 0.232,
+      "grad_norm": 2.3042027950286865,
+      "learning_rate": 4.6133333333333334e-05,
+      "loss": 2.2162,
+      "step": 58000
+    },
+    {
+      "epoch": 0.234,
+      "grad_norm": 8.11201286315918,
+      "learning_rate": 4.61e-05,
+      "loss": 2.1961,
+      "step": 58500
+    },
+    {
+      "epoch": 0.236,
+      "grad_norm": 4.328165531158447,
+      "learning_rate": 4.606666666666667e-05,
+      "loss": 2.1703,
+      "step": 59000
+    },
+    {
+      "epoch": 0.238,
+      "grad_norm": 2.358962297439575,
+      "learning_rate": 4.603333333333333e-05,
+      "loss": 2.1451,
+      "step": 59500
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 2.828664541244507,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 2.1237,
+      "step": 60000
+    },
+    {
+      "epoch": 0.242,
+      "grad_norm": 3.2035675048828125,
+      "learning_rate": 4.596666666666667e-05,
+      "loss": 2.0976,
+      "step": 60500
+    },
+    {
+      "epoch": 0.244,
+      "grad_norm": 3.383072853088379,
+      "learning_rate": 4.5933333333333336e-05,
+      "loss": 2.1939,
+      "step": 61000
+    },
+    {
+      "epoch": 0.246,
+      "grad_norm": 3.0149519443511963,
+      "learning_rate": 4.5900000000000004e-05,
+      "loss": 2.1504,
+      "step": 61500
+    },
+    {
+      "epoch": 0.248,
+      "grad_norm": 3.882446527481079,
+      "learning_rate": 4.5866666666666666e-05,
+      "loss": 2.1422,
+      "step": 62000
+    },
+    {
+      "epoch": 0.25,
+      "grad_norm": 3.4065513610839844,
+      "learning_rate": 4.5833333333333334e-05,
+      "loss": 2.1733,
+      "step": 62500
+    },
+    {
+      "epoch": 0.252,
+      "grad_norm": 4.781372547149658,
+      "learning_rate": 4.58e-05,
+      "loss": 2.1758,
+      "step": 63000
+    },
+    {
+      "epoch": 0.254,
+      "grad_norm": 5.701450347900391,
+      "learning_rate": 4.576666666666667e-05,
+      "loss": 2.1758,
+      "step": 63500
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 2.9135901927948,
+      "learning_rate": 4.573333333333333e-05,
+      "loss": 2.1873,
+      "step": 64000
+    },
+    {
+      "epoch": 0.258,
+      "grad_norm": 3.19520902633667,
+      "learning_rate": 4.5700000000000006e-05,
+      "loss": 2.1595,
+      "step": 64500
+    },
+    {
+      "epoch": 0.26,
+      "grad_norm": 4.735665798187256,
+      "learning_rate": 4.566666666666667e-05,
+      "loss": 2.1277,
+      "step": 65000
+    },
+    {
+      "epoch": 0.262,
+      "grad_norm": 3.377713203430176,
+      "learning_rate": 4.5633333333333336e-05,
+      "loss": 2.1647,
+      "step": 65500
+    },
+    {
+      "epoch": 0.264,
+      "grad_norm": 2.931816816329956,
+      "learning_rate": 4.5600000000000004e-05,
+      "loss": 2.1857,
+      "step": 66000
+    },
+    {
+      "epoch": 0.266,
+      "grad_norm": 3.2189459800720215,
+      "learning_rate": 4.556666666666667e-05,
+      "loss": 2.1273,
+      "step": 66500
+    },
+    {
+      "epoch": 0.268,
+      "grad_norm": 2.6468396186828613,
+      "learning_rate": 4.553333333333333e-05,
+      "loss": 2.1315,
+      "step": 67000
+    },
+    {
+      "epoch": 0.27,
+      "grad_norm": 3.905832290649414,
+      "learning_rate": 4.55e-05,
+      "loss": 2.102,
+      "step": 67500
+    },
+    {
+      "epoch": 0.272,
+      "grad_norm": 4.4523420333862305,
+      "learning_rate": 4.546666666666667e-05,
+      "loss": 2.132,
+      "step": 68000
+    },
+    {
+      "epoch": 0.274,
+      "grad_norm": 3.438626289367676,
+      "learning_rate": 4.543333333333333e-05,
+      "loss": 2.073,
+      "step": 68500
+    },
+    {
+      "epoch": 0.276,
+      "grad_norm": 4.564730167388916,
+      "learning_rate": 4.5400000000000006e-05,
+      "loss": 2.0854,
+      "step": 69000
+    },
+    {
+      "epoch": 0.278,
+      "grad_norm": 3.2972309589385986,
+      "learning_rate": 4.536666666666667e-05,
+      "loss": 2.131,
+      "step": 69500
+    },
+    {
+      "epoch": 0.28,
+      "grad_norm": 3.035818576812744,
+      "learning_rate": 4.5333333333333335e-05,
+      "loss": 2.106,
+      "step": 70000
+    },
+    {
+      "epoch": 0.282,
+      "grad_norm": 7.811884880065918,
+      "learning_rate": 4.53e-05,
+      "loss": 2.1292,
+      "step": 70500
+    },
+    {
+      "epoch": 0.284,
+      "grad_norm": 5.092980861663818,
+      "learning_rate": 4.526666666666667e-05,
+      "loss": 2.1491,
+      "step": 71000
+    },
+    {
+      "epoch": 0.286,
+      "grad_norm": 3.103090524673462,
+      "learning_rate": 4.523333333333333e-05,
+      "loss": 2.1384,
+      "step": 71500
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 3.5172979831695557,
+      "learning_rate": 4.52e-05,
+      "loss": 2.0726,
+      "step": 72000
+    },
+    {
+      "epoch": 0.29,
+      "grad_norm": 2.4746406078338623,
+      "learning_rate": 4.516666666666667e-05,
+      "loss": 2.1094,
+      "step": 72500
+    },
+    {
+      "epoch": 0.292,
+      "grad_norm": 3.892256498336792,
+      "learning_rate": 4.513333333333333e-05,
+      "loss": 2.1232,
+      "step": 73000
+    },
+    {
+      "epoch": 0.294,
+      "grad_norm": 3.967252254486084,
+      "learning_rate": 4.5100000000000005e-05,
+      "loss": 2.1418,
+      "step": 73500
+    },
+    {
+      "epoch": 0.296,
+      "grad_norm": 2.4911153316497803,
+      "learning_rate": 4.5066666666666667e-05,
+      "loss": 2.0842,
+      "step": 74000
+    },
+    {
+      "epoch": 0.298,
+      "grad_norm": 3.2252719402313232,
+      "learning_rate": 4.5033333333333335e-05,
+      "loss": 2.098,
+      "step": 74500
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 2.985283136367798,
+      "learning_rate": 4.5e-05,
+      "loss": 2.1425,
+      "step": 75000
+    },
+    {
+      "epoch": 0.302,
+      "grad_norm": 3.0429468154907227,
+      "learning_rate": 4.496666666666667e-05,
+      "loss": 2.1294,
+      "step": 75500
+    },
+    {
+      "epoch": 0.304,
+      "grad_norm": 2.7342679500579834,
+      "learning_rate": 4.493333333333333e-05,
+      "loss": 2.1986,
+      "step": 76000
+    },
+    {
+      "epoch": 0.306,
+      "grad_norm": 4.057483673095703,
+      "learning_rate": 4.49e-05,
+      "loss": 2.119,
+      "step": 76500
+    },
+    {
+      "epoch": 0.308,
+      "grad_norm": 2.410175323486328,
+      "learning_rate": 4.486666666666667e-05,
+      "loss": 2.0871,
+      "step": 77000
+    },
+    {
+      "epoch": 0.31,
+      "grad_norm": 2.3968799114227295,
+      "learning_rate": 4.483333333333333e-05,
+      "loss": 2.0911,
+      "step": 77500
+    },
+    {
+      "epoch": 0.312,
+      "grad_norm": 2.9172019958496094,
+      "learning_rate": 4.4800000000000005e-05,
+      "loss": 2.1253,
+      "step": 78000
+    },
+    {
+      "epoch": 0.314,
+      "grad_norm": 3.167297601699829,
+      "learning_rate": 4.4766666666666666e-05,
+      "loss": 2.0541,
+      "step": 78500
+    },
+    {
+      "epoch": 0.316,
+      "grad_norm": 3.127229690551758,
+      "learning_rate": 4.473333333333334e-05,
+      "loss": 2.1449,
+      "step": 79000
+    },
+    {
+      "epoch": 0.318,
+      "grad_norm": 3.1288318634033203,
+      "learning_rate": 4.47e-05,
+      "loss": 2.1658,
+      "step": 79500
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 2.388526201248169,
+      "learning_rate": 4.466666666666667e-05,
+      "loss": 2.1652,
+      "step": 80000
+    },
+    {
+      "epoch": 0.322,
+      "grad_norm": 3.584243059158325,
+      "learning_rate": 4.463333333333334e-05,
+      "loss": 2.1232,
+      "step": 80500
+    },
+    {
+      "epoch": 0.324,
+      "grad_norm": 1.7563213109970093,
+      "learning_rate": 4.46e-05,
+      "loss": 2.1008,
+      "step": 81000
+    },
+    {
+      "epoch": 0.326,
+      "grad_norm": 2.9459004402160645,
+      "learning_rate": 4.456666666666667e-05,
+      "loss": 2.0999,
+      "step": 81500
+    },
+    {
+      "epoch": 0.328,
+      "grad_norm": 3.793452501296997,
+      "learning_rate": 4.4533333333333336e-05,
+      "loss": 2.0838,
+      "step": 82000
+    },
+    {
+      "epoch": 0.33,
+      "grad_norm": 3.2618210315704346,
+      "learning_rate": 4.4500000000000004e-05,
+      "loss": 2.1374,
+      "step": 82500
+    },
+    {
+      "epoch": 0.332,
+      "grad_norm": 3.7118992805480957,
+      "learning_rate": 4.4466666666666666e-05,
+      "loss": 2.0699,
+      "step": 83000
+    },
+    {
+      "epoch": 0.334,
+      "grad_norm": 3.5839309692382812,
+      "learning_rate": 4.443333333333334e-05,
+      "loss": 2.1548,
+      "step": 83500
+    },
+    {
+      "epoch": 0.336,
+      "grad_norm": 4.390428066253662,
+      "learning_rate": 4.44e-05,
+      "loss": 2.0963,
+      "step": 84000
+    },
+    {
+      "epoch": 0.338,
+      "grad_norm": 2.715428113937378,
+      "learning_rate": 4.436666666666667e-05,
+      "loss": 2.0966,
+      "step": 84500
+    },
+    {
+      "epoch": 0.34,
+      "grad_norm": 2.7761735916137695,
+      "learning_rate": 4.433333333333334e-05,
+      "loss": 2.1553,
+      "step": 85000
+    },
+    {
+      "epoch": 0.342,
+      "grad_norm": 4.191737174987793,
+      "learning_rate": 4.43e-05,
+      "loss": 2.1021,
+      "step": 85500
+    },
+    {
+      "epoch": 0.344,
+      "grad_norm": 3.5068883895874023,
+      "learning_rate": 4.426666666666667e-05,
+      "loss": 2.0895,
+      "step": 86000
+    },
+    {
+      "epoch": 0.346,
+      "grad_norm": 2.2797133922576904,
+      "learning_rate": 4.4233333333333336e-05,
+      "loss": 2.0971,
+      "step": 86500
+    },
+    {
+      "epoch": 0.348,
+      "grad_norm": 3.373415470123291,
+      "learning_rate": 4.4200000000000004e-05,
+      "loss": 2.1137,
+      "step": 87000
+    },
+    {
+      "epoch": 0.35,
+      "grad_norm": 3.57524037361145,
+      "learning_rate": 4.4166666666666665e-05,
+      "loss": 2.0742,
+      "step": 87500
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 3.6643145084381104,
+      "learning_rate": 4.413333333333334e-05,
+      "loss": 2.1568,
+      "step": 88000
+    },
+    {
+      "epoch": 0.354,
+      "grad_norm": 3.4529213905334473,
+      "learning_rate": 4.41e-05,
+      "loss": 2.1251,
+      "step": 88500
+    },
+    {
+      "epoch": 0.356,
+      "grad_norm": 3.4587767124176025,
+      "learning_rate": 4.406666666666667e-05,
+      "loss": 2.0994,
+      "step": 89000
+    },
+    {
+      "epoch": 0.358,
+      "grad_norm": 3.905923843383789,
+      "learning_rate": 4.403333333333334e-05,
+      "loss": 2.1044,
+      "step": 89500
+    },
+    {
+      "epoch": 0.36,
+      "grad_norm": 3.8221778869628906,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 2.0868,
+      "step": 90000
+    },
+    {
+      "epoch": 0.362,
+      "grad_norm": 3.8898580074310303,
+      "learning_rate": 4.396666666666667e-05,
+      "loss": 2.1366,
+      "step": 90500
+    },
+    {
+      "epoch": 0.364,
+      "grad_norm": 2.8539063930511475,
+      "learning_rate": 4.3933333333333335e-05,
+      "loss": 2.0988,
+      "step": 91000
+    },
+    {
+      "epoch": 0.366,
+      "grad_norm": 3.7087953090667725,
+      "learning_rate": 4.39e-05,
+      "loss": 2.0389,
+      "step": 91500
+    },
+    {
+      "epoch": 0.368,
+      "grad_norm": 4.052675247192383,
+      "learning_rate": 4.3866666666666665e-05,
+      "loss": 2.1131,
+      "step": 92000
+    },
+    {
+      "epoch": 0.37,
+      "grad_norm": 2.6268131732940674,
+      "learning_rate": 4.383333333333334e-05,
+      "loss": 2.082,
+      "step": 92500
+    },
+    {
+      "epoch": 0.372,
+      "grad_norm": 2.995457649230957,
+      "learning_rate": 4.38e-05,
+      "loss": 2.0898,
+      "step": 93000
+    },
+    {
+      "epoch": 0.374,
+      "grad_norm": 3.6384551525115967,
+      "learning_rate": 4.376666666666667e-05,
+      "loss": 2.1156,
+      "step": 93500
+    },
+    {
+      "epoch": 0.376,
+      "grad_norm": 1.7209620475769043,
+      "learning_rate": 4.373333333333334e-05,
+      "loss": 2.087,
+      "step": 94000
+    },
+    {
+      "epoch": 0.378,
+      "grad_norm": 3.265519380569458,
+      "learning_rate": 4.3700000000000005e-05,
+      "loss": 2.0531,
+      "step": 94500
+    },
+    {
+      "epoch": 0.38,
+      "grad_norm": 3.0279839038848877,
+      "learning_rate": 4.3666666666666666e-05,
+      "loss": 2.0767,
+      "step": 95000
+    },
+    {
+      "epoch": 0.382,
+      "grad_norm": 5.8288493156433105,
+      "learning_rate": 4.3633333333333335e-05,
+      "loss": 2.0825,
+      "step": 95500
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 4.257803440093994,
+      "learning_rate": 4.36e-05,
+      "loss": 2.0819,
+      "step": 96000
+    },
+    {
+      "epoch": 0.386,
+      "grad_norm": 2.3219985961914062,
+      "learning_rate": 4.3566666666666664e-05,
+      "loss": 2.142,
+      "step": 96500
+    },
+    {
+      "epoch": 0.388,
+      "grad_norm": 3.8289096355438232,
+      "learning_rate": 4.353333333333334e-05,
+      "loss": 2.1156,
+      "step": 97000
+    },
+    {
+      "epoch": 0.39,
+      "grad_norm": 4.018870830535889,
+      "learning_rate": 4.35e-05,
+      "loss": 2.1038,
+      "step": 97500
+    },
+    {
+      "epoch": 0.392,
+      "grad_norm": 3.5996994972229004,
+      "learning_rate": 4.346666666666667e-05,
+      "loss": 2.1344,
+      "step": 98000
+    },
+    {
+      "epoch": 0.394,
+      "grad_norm": 5.009657859802246,
+      "learning_rate": 4.3433333333333336e-05,
+      "loss": 2.0643,
+      "step": 98500
+    },
+    {
+      "epoch": 0.396,
+      "grad_norm": 3.2676007747650146,
+      "learning_rate": 4.3400000000000005e-05,
+      "loss": 2.0461,
+      "step": 99000
+    },
+    {
+      "epoch": 0.398,
+      "grad_norm": 4.084861755371094,
+      "learning_rate": 4.3366666666666666e-05,
+      "loss": 2.0873,
+      "step": 99500
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 3.0719213485717773,
+      "learning_rate": 4.3333333333333334e-05,
+      "loss": 2.0876,
+      "step": 100000
+    },
+    {
+      "epoch": 0.402,
+      "grad_norm": 4.066457748413086,
+      "learning_rate": 4.33e-05,
+      "loss": 2.1435,
+      "step": 100500
+    },
+    {
+      "epoch": 0.404,
+      "grad_norm": 3.7681031227111816,
+      "learning_rate": 4.3266666666666664e-05,
+      "loss": 2.121,
+      "step": 101000
+    },
+    {
+      "epoch": 0.406,
+      "grad_norm": 3.9134926795959473,
+      "learning_rate": 4.323333333333334e-05,
+      "loss": 2.1102,
+      "step": 101500
+    },
+    {
+      "epoch": 0.408,
+      "grad_norm": 5.633421897888184,
+      "learning_rate": 4.32e-05,
+      "loss": 2.0901,
+      "step": 102000
+    },
+    {
+      "epoch": 0.41,
+      "grad_norm": 2.6770498752593994,
+      "learning_rate": 4.316666666666667e-05,
+      "loss": 2.1348,
+      "step": 102500
+    },
+    {
+      "epoch": 0.412,
+      "grad_norm": 3.900874614715576,
+      "learning_rate": 4.3133333333333336e-05,
+      "loss": 2.0964,
+      "step": 103000
+    },
+    {
+      "epoch": 0.414,
+      "grad_norm": 7.085757255554199,
+      "learning_rate": 4.3100000000000004e-05,
+      "loss": 2.1136,
+      "step": 103500
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 4.378531455993652,
+      "learning_rate": 4.3066666666666665e-05,
+      "loss": 2.0943,
+      "step": 104000
+    },
+    {
+      "epoch": 0.418,
+      "grad_norm": 5.20663595199585,
+      "learning_rate": 4.3033333333333334e-05,
+      "loss": 2.083,
+      "step": 104500
+    },
+    {
+      "epoch": 0.42,
+      "grad_norm": 4.048889636993408,
+      "learning_rate": 4.3e-05,
+      "loss": 2.0464,
+      "step": 105000
+    },
+    {
+      "epoch": 0.422,
+      "grad_norm": 3.5435705184936523,
+      "learning_rate": 4.296666666666666e-05,
+      "loss": 2.0341,
+      "step": 105500
+    },
+    {
+      "epoch": 0.424,
+      "grad_norm": 3.88645076751709,
+      "learning_rate": 4.293333333333334e-05,
+      "loss": 2.0686,
+      "step": 106000
+    },
+    {
+      "epoch": 0.426,
+      "grad_norm": 2.0479886531829834,
+      "learning_rate": 4.29e-05,
+      "loss": 2.0904,
+      "step": 106500
+    },
+    {
+      "epoch": 0.428,
+      "grad_norm": 3.7434587478637695,
+      "learning_rate": 4.286666666666667e-05,
+      "loss": 2.0684,
+      "step": 107000
+    },
+    {
+      "epoch": 0.43,
+      "grad_norm": 5.205404758453369,
+      "learning_rate": 4.2833333333333335e-05,
+      "loss": 2.1565,
+      "step": 107500
+    },
+    {
+      "epoch": 0.432,
+      "grad_norm": 3.417572498321533,
+      "learning_rate": 4.2800000000000004e-05,
+      "loss": 2.0853,
+      "step": 108000
+    },
+    {
+      "epoch": 0.434,
+      "grad_norm": 2.5680015087127686,
+      "learning_rate": 4.2766666666666665e-05,
+      "loss": 2.1047,
+      "step": 108500
+    },
+    {
+      "epoch": 0.436,
+      "grad_norm": 2.610365390777588,
+      "learning_rate": 4.273333333333333e-05,
+      "loss": 2.0632,
+      "step": 109000
+    },
+    {
+      "epoch": 0.438,
+      "grad_norm": 2.8608062267303467,
+      "learning_rate": 4.27e-05,
+      "loss": 2.0585,
+      "step": 109500
+    },
+    {
+      "epoch": 0.44,
+      "grad_norm": 3.0791268348693848,
+      "learning_rate": 4.266666666666667e-05,
+      "loss": 2.0507,
+      "step": 110000
+    },
+    {
+      "epoch": 0.442,
+      "grad_norm": 5.4177775382995605,
+      "learning_rate": 4.263333333333334e-05,
+      "loss": 2.0372,
+      "step": 110500
+    },
+    {
+      "epoch": 0.444,
+      "grad_norm": 5.032754898071289,
+      "learning_rate": 4.26e-05,
+      "loss": 2.0846,
+      "step": 111000
+    },
+    {
+      "epoch": 0.446,
+      "grad_norm": 4.747138023376465,
+      "learning_rate": 4.2566666666666674e-05,
+      "loss": 2.0895,
+      "step": 111500
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 4.253020286560059,
+      "learning_rate": 4.2533333333333335e-05,
+      "loss": 2.115,
+      "step": 112000
+    },
+    {
+      "epoch": 0.45,
+      "grad_norm": 4.46184778213501,
+      "learning_rate": 4.25e-05,
+      "loss": 2.095,
+      "step": 112500
+    },
+    {
+      "epoch": 0.452,
+      "grad_norm": 3.109792470932007,
+      "learning_rate": 4.246666666666667e-05,
+      "loss": 2.1052,
+      "step": 113000
+    },
+    {
+      "epoch": 0.454,
+      "grad_norm": 7.856069087982178,
+      "learning_rate": 4.243333333333334e-05,
+      "loss": 2.0776,
+      "step": 113500
+    },
+    {
+      "epoch": 0.456,
+      "grad_norm": 3.9295754432678223,
+      "learning_rate": 4.24e-05,
+      "loss": 2.1196,
+      "step": 114000
+    },
+    {
+      "epoch": 0.458,
+      "grad_norm": 3.329394578933716,
+      "learning_rate": 4.236666666666667e-05,
+      "loss": 2.1217,
+      "step": 114500
+    },
+    {
+      "epoch": 0.46,
+      "grad_norm": 2.929871082305908,
+      "learning_rate": 4.233333333333334e-05,
+      "loss": 2.0731,
+      "step": 115000
+    },
+    {
+      "epoch": 0.462,
+      "grad_norm": 3.9470176696777344,
+      "learning_rate": 4.23e-05,
+      "loss": 2.0762,
+      "step": 115500
+    },
+    {
+      "epoch": 0.464,
+      "grad_norm": 2.9162380695343018,
+      "learning_rate": 4.226666666666667e-05,
+      "loss": 2.1109,
+      "step": 116000
+    },
+    {
+      "epoch": 0.466,
+      "grad_norm": 3.983062744140625,
+      "learning_rate": 4.2233333333333334e-05,
+      "loss": 2.0822,
+      "step": 116500
+    },
+    {
+      "epoch": 0.468,
+      "grad_norm": 4.452120780944824,
+      "learning_rate": 4.22e-05,
+      "loss": 2.0367,
+      "step": 117000
+    },
+    {
+      "epoch": 0.47,
+      "grad_norm": 3.6147115230560303,
+      "learning_rate": 4.216666666666667e-05,
+      "loss": 2.0391,
+      "step": 117500
+    },
+    {
+      "epoch": 0.472,
+      "grad_norm": 3.7301905155181885,
+      "learning_rate": 4.213333333333334e-05,
+      "loss": 2.0909,
+      "step": 118000
+    },
+    {
+      "epoch": 0.474,
+      "grad_norm": 3.6918649673461914,
+      "learning_rate": 4.21e-05,
+      "loss": 2.0537,
+      "step": 118500
+    },
+    {
+      "epoch": 0.476,
+      "grad_norm": 2.606703758239746,
+      "learning_rate": 4.206666666666667e-05,
+      "loss": 2.0796,
+      "step": 119000
+    },
+    {
+      "epoch": 0.478,
+      "grad_norm": 4.6035919189453125,
+      "learning_rate": 4.2033333333333336e-05,
+      "loss": 2.1071,
+      "step": 119500
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 3.273329496383667,
+      "learning_rate": 4.2e-05,
+      "loss": 2.0831,
+      "step": 120000
+    },
+    {
+      "epoch": 0.482,
+      "grad_norm": 3.0302696228027344,
+      "learning_rate": 4.196666666666667e-05,
+      "loss": 2.0546,
+      "step": 120500
+    },
+    {
+      "epoch": 0.484,
+      "grad_norm": 4.3502583503723145,
+      "learning_rate": 4.1933333333333334e-05,
+      "loss": 2.0926,
+      "step": 121000
+    },
+    {
+      "epoch": 0.486,
+      "grad_norm": 4.17106294631958,
+      "learning_rate": 4.19e-05,
+      "loss": 2.1072,
+      "step": 121500
+    },
+    {
+      "epoch": 0.488,
+      "grad_norm": 3.400022029876709,
+      "learning_rate": 4.186666666666667e-05,
+      "loss": 1.9922,
+      "step": 122000
+    },
+    {
+      "epoch": 0.49,
+      "grad_norm": 9.018649101257324,
+      "learning_rate": 4.183333333333334e-05,
+      "loss": 2.1444,
+      "step": 122500
+    },
+    {
+      "epoch": 0.492,
+      "grad_norm": 6.39442253112793,
+      "learning_rate": 4.18e-05,
+      "loss": 2.0598,
+      "step": 123000
+    },
+    {
+      "epoch": 0.494,
+      "grad_norm": 3.2140920162200928,
+      "learning_rate": 4.176666666666667e-05,
+      "loss": 2.0591,
+      "step": 123500
+    },
+    {
+      "epoch": 0.496,
+      "grad_norm": 3.08949613571167,
+      "learning_rate": 4.1733333333333336e-05,
+      "loss": 2.0333,
+      "step": 124000
+    },
+    {
+      "epoch": 0.498,
+      "grad_norm": 4.796686172485352,
+      "learning_rate": 4.17e-05,
+      "loss": 2.0813,
+      "step": 124500
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 3.2902324199676514,
+      "learning_rate": 4.166666666666667e-05,
+      "loss": 2.111,
+      "step": 125000
+    },
+    {
+      "epoch": 0.502,
+      "grad_norm": 3.1211979389190674,
+      "learning_rate": 4.1633333333333333e-05,
+      "loss": 2.1149,
+      "step": 125500
+    },
+    {
+      "epoch": 0.504,
+      "grad_norm": 3.3916032314300537,
+      "learning_rate": 4.16e-05,
+      "loss": 2.0738,
+      "step": 126000
+    },
+    {
+      "epoch": 0.506,
+      "grad_norm": 2.5486552715301514,
+      "learning_rate": 4.156666666666667e-05,
+      "loss": 2.0776,
+      "step": 126500
+    },
+    {
+      "epoch": 0.508,
+      "grad_norm": 3.1618568897247314,
+      "learning_rate": 4.153333333333334e-05,
+      "loss": 2.0995,
+      "step": 127000
+    },
+    {
+      "epoch": 0.51,
+      "grad_norm": 2.678793430328369,
+      "learning_rate": 4.15e-05,
+      "loss": 2.0531,
+      "step": 127500
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 2.9615633487701416,
+      "learning_rate": 4.146666666666667e-05,
+      "loss": 2.0667,
+      "step": 128000
+    },
+    {
+      "epoch": 0.514,
+      "grad_norm": 3.363345146179199,
+      "learning_rate": 4.1433333333333335e-05,
+      "loss": 2.1193,
+      "step": 128500
+    },
+    {
+      "epoch": 0.516,
+      "grad_norm": 2.689866304397583,
+      "learning_rate": 4.14e-05,
+      "loss": 2.0989,
+      "step": 129000
+    },
+    {
+      "epoch": 0.518,
+      "grad_norm": 3.714822769165039,
+      "learning_rate": 4.136666666666667e-05,
+      "loss": 2.0501,
+      "step": 129500
+    },
+    {
+      "epoch": 0.52,
+      "grad_norm": 2.598795175552368,
+      "learning_rate": 4.133333333333333e-05,
+      "loss": 2.0491,
+      "step": 130000
+    },
+    {
+      "epoch": 0.522,
+      "grad_norm": 2.874335289001465,
+      "learning_rate": 4.13e-05,
+      "loss": 2.0749,
+      "step": 130500
+    },
+    {
+      "epoch": 0.524,
+      "grad_norm": 3.205214738845825,
+      "learning_rate": 4.126666666666667e-05,
+      "loss": 2.0623,
+      "step": 131000
+    },
+    {
+      "epoch": 0.526,
+      "grad_norm": 4.125555515289307,
+      "learning_rate": 4.123333333333334e-05,
+      "loss": 2.0028,
+      "step": 131500
+    },
+    {
+      "epoch": 0.528,
+      "grad_norm": 3.410125732421875,
+      "learning_rate": 4.12e-05,
+      "loss": 2.0544,
+      "step": 132000
+    },
+    {
+      "epoch": 0.53,
+      "grad_norm": 3.3796143531799316,
+      "learning_rate": 4.116666666666667e-05,
+      "loss": 2.0707,
+      "step": 132500
+    },
+    {
+      "epoch": 0.532,
+      "grad_norm": 2.917487859725952,
+      "learning_rate": 4.1133333333333335e-05,
+      "loss": 2.0796,
+      "step": 133000
+    },
+    {
+      "epoch": 0.534,
+      "grad_norm": 2.9457132816314697,
+      "learning_rate": 4.11e-05,
+      "loss": 2.0417,
+      "step": 133500
+    },
+    {
+      "epoch": 0.536,
+      "grad_norm": 3.2625885009765625,
+      "learning_rate": 4.106666666666667e-05,
+      "loss": 2.0701,
+      "step": 134000
+    },
+    {
+      "epoch": 0.538,
+      "grad_norm": 2.5929174423217773,
+      "learning_rate": 4.103333333333333e-05,
+      "loss": 2.0365,
+      "step": 134500
+    },
+    {
+      "epoch": 0.54,
+      "grad_norm": 3.7858805656433105,
+      "learning_rate": 4.1e-05,
+      "loss": 2.0688,
+      "step": 135000
+    },
+    {
+      "epoch": 0.542,
+      "grad_norm": 2.518702268600464,
+      "learning_rate": 4.096666666666667e-05,
+      "loss": 2.0347,
+      "step": 135500
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 2.147878885269165,
+      "learning_rate": 4.093333333333334e-05,
+      "loss": 2.0907,
+      "step": 136000
+    },
+    {
+      "epoch": 0.546,
+      "grad_norm": 2.583623170852661,
+      "learning_rate": 4.09e-05,
+      "loss": 2.0574,
+      "step": 136500
+    },
+    {
+      "epoch": 0.548,
+      "grad_norm": 3.7128000259399414,
+      "learning_rate": 4.086666666666667e-05,
+      "loss": 2.0317,
+      "step": 137000
+    },
+    {
+      "epoch": 0.55,
+      "grad_norm": 3.355604410171509,
+      "learning_rate": 4.0833333333333334e-05,
+      "loss": 2.0925,
+      "step": 137500
+    },
+    {
+      "epoch": 0.552,
+      "grad_norm": 2.571455955505371,
+      "learning_rate": 4.08e-05,
+      "loss": 2.0609,
+      "step": 138000
+    },
+    {
+      "epoch": 0.554,
+      "grad_norm": 4.0345964431762695,
+      "learning_rate": 4.076666666666667e-05,
+      "loss": 2.0588,
+      "step": 138500
+    },
+    {
+      "epoch": 0.556,
+      "grad_norm": 2.335813283920288,
+      "learning_rate": 4.073333333333333e-05,
+      "loss": 2.0593,
+      "step": 139000
+    },
+    {
+      "epoch": 0.558,
+      "grad_norm": 2.635006904602051,
+      "learning_rate": 4.07e-05,
+      "loss": 2.0305,
+      "step": 139500
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 3.2713277339935303,
+      "learning_rate": 4.066666666666667e-05,
+      "loss": 2.101,
+      "step": 140000
+    },
+    {
+      "epoch": 0.562,
+      "grad_norm": 3.0536394119262695,
+      "learning_rate": 4.0633333333333336e-05,
+      "loss": 2.0822,
+      "step": 140500
+    },
+    {
+      "epoch": 0.564,
+      "grad_norm": 2.738590955734253,
+      "learning_rate": 4.0600000000000004e-05,
+      "loss": 2.0657,
+      "step": 141000
+    },
+    {
+      "epoch": 0.566,
+      "grad_norm": 2.7430801391601562,
+      "learning_rate": 4.056666666666667e-05,
+      "loss": 2.0501,
+      "step": 141500
+    },
+    {
+      "epoch": 0.568,
+      "grad_norm": 3.0719614028930664,
+      "learning_rate": 4.0533333333333334e-05,
+      "loss": 2.0858,
+      "step": 142000
+    },
+    {
+      "epoch": 0.57,
+      "grad_norm": 3.7511579990386963,
+      "learning_rate": 4.05e-05,
+      "loss": 2.0379,
+      "step": 142500
+    },
+    {
+      "epoch": 0.572,
+      "grad_norm": 2.9549365043640137,
+      "learning_rate": 4.046666666666667e-05,
+      "loss": 2.061,
+      "step": 143000
+    },
+    {
+      "epoch": 0.574,
+      "grad_norm": 2.747694492340088,
+      "learning_rate": 4.043333333333333e-05,
+      "loss": 2.0594,
+      "step": 143500
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 3.0523245334625244,
+      "learning_rate": 4.0400000000000006e-05,
+      "loss": 2.0242,
+      "step": 144000
+    },
+    {
+      "epoch": 0.578,
+      "grad_norm": 3.2143924236297607,
+      "learning_rate": 4.036666666666667e-05,
+      "loss": 2.0594,
+      "step": 144500
+    },
+    {
+      "epoch": 0.58,
+      "grad_norm": 3.238633394241333,
+      "learning_rate": 4.0333333333333336e-05,
+      "loss": 2.0018,
+      "step": 145000
+    },
+    {
+      "epoch": 0.582,
+      "grad_norm": 3.028563976287842,
+      "learning_rate": 4.0300000000000004e-05,
+      "loss": 2.0638,
+      "step": 145500
+    },
+    {
+      "epoch": 0.584,
+      "grad_norm": 3.076982259750366,
+      "learning_rate": 4.026666666666667e-05,
+      "loss": 2.0542,
+      "step": 146000
+    },
+    {
+      "epoch": 0.586,
+      "grad_norm": 3.362534761428833,
+      "learning_rate": 4.023333333333333e-05,
+      "loss": 2.0644,
+      "step": 146500
+    },
+    {
+      "epoch": 0.588,
+      "grad_norm": 3.74678373336792,
+      "learning_rate": 4.02e-05,
+      "loss": 2.0504,
+      "step": 147000
+    },
+    {
+      "epoch": 0.59,
+      "grad_norm": 3.791611671447754,
+      "learning_rate": 4.016666666666667e-05,
+      "loss": 2.0707,
+      "step": 147500
+    },
+    {
+      "epoch": 0.592,
+      "grad_norm": 2.929403066635132,
+      "learning_rate": 4.013333333333333e-05,
+      "loss": 2.0457,
+      "step": 148000
+    },
+    {
+      "epoch": 0.594,
+      "grad_norm": 3.552448034286499,
+      "learning_rate": 4.0100000000000006e-05,
+      "loss": 2.036,
+      "step": 148500
+    },
+    {
+      "epoch": 0.596,
+      "grad_norm": 5.283909797668457,
+      "learning_rate": 4.006666666666667e-05,
+      "loss": 2.0015,
+      "step": 149000
+    },
+    {
+      "epoch": 0.598,
+      "grad_norm": 4.07560396194458,
+      "learning_rate": 4.0033333333333335e-05,
+      "loss": 2.0624,
+      "step": 149500
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 4.289628982543945,
+      "learning_rate": 4e-05,
+      "loss": 2.0246,
+      "step": 150000
+    },
+    {
+      "epoch": 0.602,
+      "grad_norm": 4.160073757171631,
+      "learning_rate": 3.996666666666667e-05,
+      "loss": 2.0213,
+      "step": 150500
+    },
+    {
+      "epoch": 0.604,
+      "grad_norm": 3.4908013343811035,
+      "learning_rate": 3.993333333333333e-05,
+      "loss": 2.0658,
+      "step": 151000
+    },
+    {
+      "epoch": 0.606,
+      "grad_norm": 2.9672882556915283,
+      "learning_rate": 3.99e-05,
+      "loss": 2.0558,
+      "step": 151500
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 3.672718048095703,
+      "learning_rate": 3.986666666666667e-05,
+      "loss": 2.1092,
+      "step": 152000
+    },
+    {
+      "epoch": 0.61,
+      "grad_norm": 2.5369906425476074,
+      "learning_rate": 3.983333333333333e-05,
+      "loss": 2.0265,
+      "step": 152500
+    },
+    {
+      "epoch": 0.612,
+      "grad_norm": 2.8393161296844482,
+      "learning_rate": 3.9800000000000005e-05,
+      "loss": 2.0251,
+      "step": 153000
+    },
+    {
+      "epoch": 0.614,
+      "grad_norm": 3.6911427974700928,
+      "learning_rate": 3.9766666666666667e-05,
+      "loss": 2.1154,
+      "step": 153500
+    },
+    {
+      "epoch": 0.616,
+      "grad_norm": 4.792574405670166,
+      "learning_rate": 3.9733333333333335e-05,
+      "loss": 2.0488,
+      "step": 154000
+    },
+    {
+      "epoch": 0.618,
+      "grad_norm": 2.8738489151000977,
+      "learning_rate": 3.97e-05,
+      "loss": 2.0367,
+      "step": 154500
+    },
+    {
+      "epoch": 0.62,
+      "grad_norm": 2.669877290725708,
+      "learning_rate": 3.966666666666667e-05,
+      "loss": 2.0635,
+      "step": 155000
+    },
+    {
+      "epoch": 0.622,
+      "grad_norm": 3.7285993099212646,
+      "learning_rate": 3.963333333333333e-05,
+      "loss": 2.0624,
+      "step": 155500
+    },
+    {
+      "epoch": 0.624,
+      "grad_norm": 2.3784637451171875,
+      "learning_rate": 3.960000000000001e-05,
+      "loss": 2.0818,
+      "step": 156000
+    },
+    {
+      "epoch": 0.626,
+      "grad_norm": 3.081803560256958,
+      "learning_rate": 3.956666666666667e-05,
+      "loss": 2.088,
+      "step": 156500
+    },
+    {
+      "epoch": 0.628,
+      "grad_norm": 3.345363140106201,
+      "learning_rate": 3.9533333333333337e-05,
+      "loss": 2.0417,
+      "step": 157000
+    },
+    {
+      "epoch": 0.63,
+      "grad_norm": 3.539335012435913,
+      "learning_rate": 3.9500000000000005e-05,
+      "loss": 2.0896,
+      "step": 157500
+    },
+    {
+      "epoch": 0.632,
+      "grad_norm": 9.583149909973145,
+      "learning_rate": 3.9466666666666666e-05,
+      "loss": 2.0003,
+      "step": 158000
+    },
+    {
+      "epoch": 0.634,
+      "grad_norm": 3.890080451965332,
+      "learning_rate": 3.9433333333333334e-05,
+      "loss": 2.0148,
+      "step": 158500
+    },
+    {
+      "epoch": 0.636,
+      "grad_norm": 3.9122307300567627,
+      "learning_rate": 3.94e-05,
+      "loss": 2.0528,
+      "step": 159000
+    },
+    {
+      "epoch": 0.638,
+      "grad_norm": 3.224517345428467,
+      "learning_rate": 3.936666666666667e-05,
+      "loss": 2.0549,
+      "step": 159500
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 3.221017837524414,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 2.006,
+      "step": 160000
+    },
+    {
+      "epoch": 0.642,
+      "grad_norm": 4.312368869781494,
+      "learning_rate": 3.9300000000000007e-05,
+      "loss": 2.0563,
+      "step": 160500
+    },
+    {
+      "epoch": 0.644,
+      "grad_norm": 4.354990005493164,
+      "learning_rate": 3.926666666666667e-05,
+      "loss": 2.0434,
+      "step": 161000
+    },
+    {
+      "epoch": 0.646,
+      "grad_norm": 3.228994607925415,
+      "learning_rate": 3.9233333333333336e-05,
+      "loss": 2.0358,
+      "step": 161500
+    },
+    {
+      "epoch": 0.648,
+      "grad_norm": 3.925718307495117,
+      "learning_rate": 3.9200000000000004e-05,
+      "loss": 2.0136,
+      "step": 162000
+    },
+    {
+      "epoch": 0.65,
+      "grad_norm": 4.197310447692871,
+      "learning_rate": 3.9166666666666665e-05,
+      "loss": 2.0355,
+      "step": 162500
+    },
+    {
+      "epoch": 0.652,
+      "grad_norm": 1.8161051273345947,
+      "learning_rate": 3.9133333333333334e-05,
+      "loss": 2.0368,
+      "step": 163000
+    },
+    {
+      "epoch": 0.654,
+      "grad_norm": 3.0000922679901123,
+      "learning_rate": 3.91e-05,
+      "loss": 2.0392,
+      "step": 163500
+    },
+    {
+      "epoch": 0.656,
+      "grad_norm": 3.431110382080078,
+      "learning_rate": 3.906666666666667e-05,
+      "loss": 2.0281,
+      "step": 164000
+    },
+    {
+      "epoch": 0.658,
+      "grad_norm": 2.8818106651306152,
+      "learning_rate": 3.903333333333333e-05,
+      "loss": 2.0448,
+      "step": 164500
+    },
+    {
+      "epoch": 0.66,
+      "grad_norm": 3.118952989578247,
+      "learning_rate": 3.9000000000000006e-05,
+      "loss": 2.0006,
+      "step": 165000
+    },
+    {
+      "epoch": 0.662,
+      "grad_norm": 2.253390073776245,
+      "learning_rate": 3.896666666666667e-05,
+      "loss": 2.0293,
+      "step": 165500
+    },
+    {
+      "epoch": 0.664,
+      "grad_norm": 2.047863483428955,
+      "learning_rate": 3.8933333333333336e-05,
+      "loss": 2.0546,
+      "step": 166000
+    },
+    {
+      "epoch": 0.666,
+      "grad_norm": 3.777038097381592,
+      "learning_rate": 3.8900000000000004e-05,
+      "loss": 2.0403,
+      "step": 166500
+    },
+    {
+      "epoch": 0.668,
+      "grad_norm": 3.8852968215942383,
+      "learning_rate": 3.8866666666666665e-05,
+      "loss": 2.0197,
+      "step": 167000
+    },
+    {
+      "epoch": 0.67,
+      "grad_norm": 3.944096326828003,
+      "learning_rate": 3.883333333333333e-05,
+      "loss": 1.9839,
+      "step": 167500
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 3.3165063858032227,
+      "learning_rate": 3.88e-05,
+      "loss": 2.0727,
+      "step": 168000
+    },
+    {
+      "epoch": 0.674,
+      "grad_norm": 1.9157897233963013,
+      "learning_rate": 3.876666666666667e-05,
+      "loss": 2.0726,
+      "step": 168500
+    },
+    {
+      "epoch": 0.676,
+      "grad_norm": 3.022778034210205,
+      "learning_rate": 3.873333333333333e-05,
+      "loss": 2.1037,
+      "step": 169000
+    },
+    {
+      "epoch": 0.678,
+      "grad_norm": 4.450779914855957,
+      "learning_rate": 3.8700000000000006e-05,
+      "loss": 2.0933,
+      "step": 169500
+    },
+    {
+      "epoch": 0.68,
+      "grad_norm": 2.4837646484375,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 2.0606,
+      "step": 170000
+    },
+    {
+      "epoch": 0.682,
+      "grad_norm": 4.857231616973877,
+      "learning_rate": 3.8633333333333335e-05,
+      "loss": 2.0332,
+      "step": 170500
+    },
+    {
+      "epoch": 0.684,
+      "grad_norm": 2.8678693771362305,
+      "learning_rate": 3.86e-05,
+      "loss": 1.9745,
+      "step": 171000
+    },
+    {
+      "epoch": 0.686,
+      "grad_norm": 5.499651908874512,
+      "learning_rate": 3.8566666666666664e-05,
+      "loss": 2.0567,
+      "step": 171500
+    },
+    {
+      "epoch": 0.688,
+      "grad_norm": 2.0079879760742188,
+      "learning_rate": 3.853333333333334e-05,
+      "loss": 1.9684,
+      "step": 172000
+    },
+    {
+      "epoch": 0.69,
+      "grad_norm": 2.0177042484283447,
+      "learning_rate": 3.85e-05,
+      "loss": 2.1217,
+      "step": 172500
+    },
+    {
+      "epoch": 0.692,
+      "grad_norm": 5.115923881530762,
+      "learning_rate": 3.846666666666667e-05,
+      "loss": 2.0093,
+      "step": 173000
+    },
+    {
+      "epoch": 0.694,
+      "grad_norm": 3.7766571044921875,
+      "learning_rate": 3.843333333333334e-05,
+      "loss": 2.0359,
+      "step": 173500
+    },
+    {
+      "epoch": 0.696,
+      "grad_norm": 2.047942638397217,
+      "learning_rate": 3.8400000000000005e-05,
+      "loss": 2.0344,
+      "step": 174000
+    },
+    {
+      "epoch": 0.698,
+      "grad_norm": 3.307086229324341,
+      "learning_rate": 3.8366666666666666e-05,
+      "loss": 2.0404,
+      "step": 174500
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 2.840266704559326,
+      "learning_rate": 3.8333333333333334e-05,
+      "loss": 2.0766,
+      "step": 175000
+    },
+    {
+      "epoch": 0.702,
+      "grad_norm": 3.1452879905700684,
+      "learning_rate": 3.83e-05,
+      "loss": 2.0492,
+      "step": 175500
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 3.49600887298584,
+      "learning_rate": 3.8266666666666664e-05,
+      "loss": 2.0102,
+      "step": 176000
+    },
+    {
+      "epoch": 0.706,
+      "grad_norm": 4.95923376083374,
+      "learning_rate": 3.823333333333334e-05,
+      "loss": 2.0691,
+      "step": 176500
+    },
+    {
+      "epoch": 0.708,
+      "grad_norm": 2.7085061073303223,
+      "learning_rate": 3.82e-05,
+      "loss": 1.9888,
+      "step": 177000
+    },
+    {
+      "epoch": 0.71,
+      "grad_norm": 3.8144969940185547,
+      "learning_rate": 3.816666666666667e-05,
+      "loss": 2.0206,
+      "step": 177500
+    },
+    {
+      "epoch": 0.712,
+      "grad_norm": 4.484845161437988,
+      "learning_rate": 3.8133333333333336e-05,
+      "loss": 2.0543,
+      "step": 178000
+    },
+    {
+      "epoch": 0.714,
+      "grad_norm": 3.1691911220550537,
+      "learning_rate": 3.8100000000000005e-05,
+      "loss": 2.0377,
+      "step": 178500
+    },
+    {
+      "epoch": 0.716,
+      "grad_norm": 3.4520392417907715,
+      "learning_rate": 3.8066666666666666e-05,
+      "loss": 2.0044,
+      "step": 179000
+    },
+    {
+      "epoch": 0.718,
+      "grad_norm": 3.3601908683776855,
+      "learning_rate": 3.803333333333334e-05,
+      "loss": 2.0651,
+      "step": 179500
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 3.411925792694092,
+      "learning_rate": 3.8e-05,
+      "loss": 2.0288,
+      "step": 180000
+    },
+    {
+      "epoch": 0.722,
+      "grad_norm": 3.8035693168640137,
+      "learning_rate": 3.796666666666667e-05,
+      "loss": 2.0361,
+      "step": 180500
+    },
+    {
+      "epoch": 0.724,
+      "grad_norm": 2.7599313259124756,
+      "learning_rate": 3.793333333333334e-05,
+      "loss": 2.0456,
+      "step": 181000
+    },
+    {
+      "epoch": 0.726,
+      "grad_norm": 2.216534376144409,
+      "learning_rate": 3.79e-05,
+      "loss": 2.0082,
+      "step": 181500
+    },
+    {
+      "epoch": 0.728,
+      "grad_norm": 3.6396164894104004,
+      "learning_rate": 3.786666666666667e-05,
+      "loss": 2.0084,
+      "step": 182000
+    },
+    {
+      "epoch": 0.73,
+      "grad_norm": 4.180398464202881,
+      "learning_rate": 3.7833333333333336e-05,
+      "loss": 2.0389,
+      "step": 182500
+    },
+    {
+      "epoch": 0.732,
+      "grad_norm": 3.7922286987304688,
+      "learning_rate": 3.7800000000000004e-05,
+      "loss": 2.0179,
+      "step": 183000
+    },
+    {
+      "epoch": 0.734,
+      "grad_norm": 2.810511827468872,
+      "learning_rate": 3.7766666666666665e-05,
+      "loss": 2.0514,
+      "step": 183500
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 4.541322708129883,
+      "learning_rate": 3.773333333333334e-05,
+      "loss": 2.0042,
+      "step": 184000
+    },
+    {
+      "epoch": 0.738,
+      "grad_norm": 4.0907464027404785,
+      "learning_rate": 3.77e-05,
+      "loss": 2.0381,
+      "step": 184500
+    },
+    {
+      "epoch": 0.74,
+      "grad_norm": 3.044689893722534,
+      "learning_rate": 3.766666666666667e-05,
+      "loss": 1.98,
+      "step": 185000
+    },
+    {
+      "epoch": 0.742,
+      "grad_norm": 3.764763593673706,
+      "learning_rate": 3.763333333333334e-05,
+      "loss": 2.0708,
+      "step": 185500
+    },
+    {
+      "epoch": 0.744,
+      "grad_norm": 2.8387868404388428,
+      "learning_rate": 3.76e-05,
+      "loss": 2.0284,
+      "step": 186000
+    },
+    {
+      "epoch": 0.746,
+      "grad_norm": 3.0459678173065186,
+      "learning_rate": 3.756666666666667e-05,
+      "loss": 2.0759,
+      "step": 186500
+    },
+    {
+      "epoch": 0.748,
+      "grad_norm": 3.9302046298980713,
+      "learning_rate": 3.7533333333333335e-05,
+      "loss": 1.9959,
+      "step": 187000
+    },
+    {
+      "epoch": 0.75,
+      "grad_norm": 3.901703119277954,
+      "learning_rate": 3.7500000000000003e-05,
+      "loss": 2.0327,
+      "step": 187500
+    },
+    {
+      "epoch": 0.752,
+      "grad_norm": 2.5649538040161133,
+      "learning_rate": 3.7466666666666665e-05,
+      "loss": 2.0695,
+      "step": 188000
+    },
+    {
+      "epoch": 0.754,
+      "grad_norm": 3.121854066848755,
+      "learning_rate": 3.743333333333334e-05,
+      "loss": 2.005,
+      "step": 188500
+    },
+    {
+      "epoch": 0.756,
+      "grad_norm": 3.9959986209869385,
+      "learning_rate": 3.74e-05,
+      "loss": 1.9709,
+      "step": 189000
+    },
+    {
+      "epoch": 0.758,
+      "grad_norm": 2.3672749996185303,
+      "learning_rate": 3.736666666666667e-05,
+      "loss": 2.017,
+      "step": 189500
+    },
+    {
+      "epoch": 0.76,
+      "grad_norm": 2.247828483581543,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 2.0144,
+      "step": 190000
+    },
+    {
+      "epoch": 0.762,
+      "grad_norm": 3.7833261489868164,
+      "learning_rate": 3.73e-05,
+      "loss": 2.0452,
+      "step": 190500
+    },
+    {
+      "epoch": 0.764,
+      "grad_norm": 2.969160795211792,
+      "learning_rate": 3.726666666666667e-05,
+      "loss": 2.072,
+      "step": 191000
+    },
+    {
+      "epoch": 0.766,
+      "grad_norm": 3.3136720657348633,
+      "learning_rate": 3.7233333333333335e-05,
+      "loss": 2.0299,
+      "step": 191500
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 3.0349690914154053,
+      "learning_rate": 3.72e-05,
+      "loss": 2.0142,
+      "step": 192000
+    },
+    {
+      "epoch": 0.77,
+      "grad_norm": 3.991732597351074,
+      "learning_rate": 3.7166666666666664e-05,
+      "loss": 2.0271,
+      "step": 192500
+    },
+    {
+      "epoch": 0.772,
+      "grad_norm": 9.109725952148438,
+      "learning_rate": 3.713333333333334e-05,
+      "loss": 2.0119,
+      "step": 193000
+    },
+    {
+      "epoch": 0.774,
+      "grad_norm": 3.485161542892456,
+      "learning_rate": 3.71e-05,
+      "loss": 2.0165,
+      "step": 193500
+    },
+    {
+      "epoch": 0.776,
+      "grad_norm": 2.7301113605499268,
+      "learning_rate": 3.706666666666667e-05,
+      "loss": 2.0534,
+      "step": 194000
+    },
+    {
+      "epoch": 0.778,
+      "grad_norm": 3.1116385459899902,
+      "learning_rate": 3.703333333333334e-05,
+      "loss": 2.0406,
+      "step": 194500
+    },
+    {
+      "epoch": 0.78,
+      "grad_norm": 3.623192071914673,
+      "learning_rate": 3.7e-05,
+      "loss": 2.0708,
+      "step": 195000
+    },
+    {
+      "epoch": 0.782,
+      "grad_norm": 2.810889720916748,
+      "learning_rate": 3.6966666666666666e-05,
+      "loss": 2.0517,
+      "step": 195500
+    },
+    {
+      "epoch": 0.784,
+      "grad_norm": 3.8478283882141113,
+      "learning_rate": 3.6933333333333334e-05,
+      "loss": 2.0147,
+      "step": 196000
+    },
+    {
+      "epoch": 0.786,
+      "grad_norm": 3.1300742626190186,
+      "learning_rate": 3.69e-05,
+      "loss": 2.0125,
+      "step": 196500
+    },
+    {
+      "epoch": 0.788,
+      "grad_norm": 5.76196813583374,
+      "learning_rate": 3.6866666666666664e-05,
+      "loss": 2.0579,
+      "step": 197000
+    },
+    {
+      "epoch": 0.79,
+      "grad_norm": 3.5048184394836426,
+      "learning_rate": 3.683333333333334e-05,
+      "loss": 2.0092,
+      "step": 197500
+    },
+    {
+      "epoch": 0.792,
+      "grad_norm": 2.922041177749634,
+      "learning_rate": 3.68e-05,
+      "loss": 2.0052,
+      "step": 198000
+    },
+    {
+      "epoch": 0.794,
+      "grad_norm": 2.5056612491607666,
+      "learning_rate": 3.676666666666667e-05,
+      "loss": 2.0202,
+      "step": 198500
+    },
+    {
+      "epoch": 0.796,
+      "grad_norm": 3.1135616302490234,
+      "learning_rate": 3.6733333333333336e-05,
+      "loss": 2.0354,
+      "step": 199000
+    },
+    {
+      "epoch": 0.798,
+      "grad_norm": 4.489212989807129,
+      "learning_rate": 3.6700000000000004e-05,
+      "loss": 1.9958,
+      "step": 199500
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 3.027749538421631,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 2.0489,
+      "step": 200000
+    },
+    {
+      "epoch": 0.802,
+      "grad_norm": 4.058797836303711,
+      "learning_rate": 3.6633333333333334e-05,
+      "loss": 2.0437,
+      "step": 200500
+    },
+    {
+      "epoch": 0.804,
+      "grad_norm": 2.8988873958587646,
+      "learning_rate": 3.66e-05,
+      "loss": 2.021,
+      "step": 201000
+    },
+    {
+      "epoch": 0.806,
+      "grad_norm": 3.1798198223114014,
+      "learning_rate": 3.656666666666666e-05,
+      "loss": 1.969,
+      "step": 201500
+    },
+    {
+      "epoch": 0.808,
+      "grad_norm": 2.8060543537139893,
+      "learning_rate": 3.653333333333334e-05,
+      "loss": 2.0367,
+      "step": 202000
+    },
+    {
+      "epoch": 0.81,
+      "grad_norm": 4.770681381225586,
+      "learning_rate": 3.65e-05,
+      "loss": 2.0055,
+      "step": 202500
+    },
+    {
+      "epoch": 0.812,
+      "grad_norm": 4.299195289611816,
+      "learning_rate": 3.646666666666667e-05,
+      "loss": 2.0018,
+      "step": 203000
+    },
+    {
+      "epoch": 0.814,
+      "grad_norm": 2.6850523948669434,
+      "learning_rate": 3.6433333333333336e-05,
+      "loss": 2.0712,
+      "step": 203500
+    },
+    {
+      "epoch": 0.816,
+      "grad_norm": 5.222832679748535,
+      "learning_rate": 3.6400000000000004e-05,
+      "loss": 1.9887,
+      "step": 204000
+    },
+    {
+      "epoch": 0.818,
+      "grad_norm": 1.5856728553771973,
+      "learning_rate": 3.636666666666667e-05,
+      "loss": 1.985,
+      "step": 204500
+    },
+    {
+      "epoch": 0.82,
+      "grad_norm": 2.768526554107666,
+      "learning_rate": 3.633333333333333e-05,
+      "loss": 2.0219,
+      "step": 205000
+    },
+    {
+      "epoch": 0.822,
+      "grad_norm": 3.7961578369140625,
+      "learning_rate": 3.63e-05,
+      "loss": 1.9997,
+      "step": 205500
+    },
+    {
+      "epoch": 0.824,
+      "grad_norm": 4.291576385498047,
+      "learning_rate": 3.626666666666667e-05,
+      "loss": 2.0073,
+      "step": 206000
+    },
+    {
+      "epoch": 0.826,
+      "grad_norm": 3.5727875232696533,
+      "learning_rate": 3.623333333333334e-05,
+      "loss": 2.0515,
+      "step": 206500
+    },
+    {
+      "epoch": 0.828,
+      "grad_norm": 2.564605236053467,
+      "learning_rate": 3.62e-05,
+      "loss": 1.98,
+      "step": 207000
+    },
+    {
+      "epoch": 0.83,
+      "grad_norm": 6.970737934112549,
+      "learning_rate": 3.6166666666666674e-05,
+      "loss": 1.9978,
+      "step": 207500
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 4.531256675720215,
+      "learning_rate": 3.6133333333333335e-05,
+      "loss": 2.0149,
+      "step": 208000
+    },
+    {
+      "epoch": 0.834,
+      "grad_norm": 3.8876969814300537,
+      "learning_rate": 3.61e-05,
+      "loss": 2.0041,
+      "step": 208500
+    },
+    {
+      "epoch": 0.836,
+      "grad_norm": 2.57814359664917,
+      "learning_rate": 3.606666666666667e-05,
+      "loss": 2.0239,
+      "step": 209000
+    },
+    {
+      "epoch": 0.838,
+      "grad_norm": 4.07957649230957,
+      "learning_rate": 3.603333333333333e-05,
+      "loss": 1.9832,
+      "step": 209500
+    },
+    {
+      "epoch": 0.84,
+      "grad_norm": 3.2439143657684326,
+      "learning_rate": 3.6e-05,
+      "loss": 2.0308,
+      "step": 210000
+    },
+    {
+      "epoch": 0.842,
+      "grad_norm": 3.726674795150757,
+      "learning_rate": 3.596666666666667e-05,
+      "loss": 2.0384,
+      "step": 210500
+    },
+    {
+      "epoch": 0.844,
+      "grad_norm": 4.029228687286377,
+      "learning_rate": 3.593333333333334e-05,
+      "loss": 2.0201,
+      "step": 211000
+    },
+    {
+      "epoch": 0.846,
+      "grad_norm": 3.6475327014923096,
+      "learning_rate": 3.59e-05,
+      "loss": 2.0273,
+      "step": 211500
+    },
+    {
+      "epoch": 0.848,
+      "grad_norm": 3.280093193054199,
+      "learning_rate": 3.586666666666667e-05,
+      "loss": 2.0265,
+      "step": 212000
+    },
+    {
+      "epoch": 0.85,
+      "grad_norm": 3.7539923191070557,
+      "learning_rate": 3.5833333333333335e-05,
+      "loss": 1.9668,
+      "step": 212500
+    },
+    {
+      "epoch": 0.852,
+      "grad_norm": 2.8362836837768555,
+      "learning_rate": 3.58e-05,
+      "loss": 2.0024,
+      "step": 213000
+    },
+    {
+      "epoch": 0.854,
+      "grad_norm": 2.5496578216552734,
+      "learning_rate": 3.576666666666667e-05,
+      "loss": 2.0336,
+      "step": 213500
+    },
+    {
+      "epoch": 0.856,
+      "grad_norm": 2.3501594066619873,
+      "learning_rate": 3.573333333333333e-05,
+      "loss": 1.9949,
+      "step": 214000
+    },
+    {
+      "epoch": 0.858,
+      "grad_norm": 3.0411014556884766,
+      "learning_rate": 3.57e-05,
+      "loss": 2.0541,
+      "step": 214500
+    },
+    {
+      "epoch": 0.86,
+      "grad_norm": 2.0441277027130127,
+      "learning_rate": 3.566666666666667e-05,
+      "loss": 1.9775,
+      "step": 215000
+    },
+    {
+      "epoch": 0.862,
+      "grad_norm": 3.871142864227295,
+      "learning_rate": 3.563333333333334e-05,
+      "loss": 2.0222,
+      "step": 215500
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 4.2942681312561035,
+      "learning_rate": 3.56e-05,
+      "loss": 2.0236,
+      "step": 216000
+    },
+    {
+      "epoch": 0.866,
+      "grad_norm": 2.8449583053588867,
+      "learning_rate": 3.556666666666667e-05,
+      "loss": 1.9874,
+      "step": 216500
+    },
+    {
+      "epoch": 0.868,
+      "grad_norm": 2.9076645374298096,
+      "learning_rate": 3.5533333333333334e-05,
+      "loss": 2.0187,
+      "step": 217000
+    },
+    {
+      "epoch": 0.87,
+      "grad_norm": 2.323218584060669,
+      "learning_rate": 3.55e-05,
+      "loss": 1.9891,
+      "step": 217500
+    },
+    {
+      "epoch": 0.872,
+      "grad_norm": 4.182117938995361,
+      "learning_rate": 3.546666666666667e-05,
+      "loss": 2.0188,
+      "step": 218000
+    },
+    {
+      "epoch": 0.874,
+      "grad_norm": 2.033358573913574,
+      "learning_rate": 3.543333333333333e-05,
+      "loss": 1.9769,
+      "step": 218500
+    },
+    {
+      "epoch": 0.876,
+      "grad_norm": 2.572456121444702,
+      "learning_rate": 3.54e-05,
+      "loss": 2.0148,
+      "step": 219000
+    },
+    {
+      "epoch": 0.878,
+      "grad_norm": 3.266324520111084,
+      "learning_rate": 3.536666666666667e-05,
+      "loss": 2.005,
+      "step": 219500
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 4.314316272735596,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 2.0426,
+      "step": 220000
+    },
+    {
+      "epoch": 0.882,
+      "grad_norm": 3.1086277961730957,
+      "learning_rate": 3.53e-05,
+      "loss": 2.039,
+      "step": 220500
+    },
+    {
+      "epoch": 0.884,
+      "grad_norm": 2.5646815299987793,
+      "learning_rate": 3.526666666666667e-05,
+      "loss": 2.005,
+      "step": 221000
+    },
+    {
+      "epoch": 0.886,
+      "grad_norm": 3.548635721206665,
+      "learning_rate": 3.5233333333333334e-05,
+      "loss": 1.9444,
+      "step": 221500
+    },
+    {
+      "epoch": 0.888,
+      "grad_norm": 3.8797554969787598,
+      "learning_rate": 3.52e-05,
+      "loss": 1.9985,
+      "step": 222000
+    },
+    {
+      "epoch": 0.89,
+      "grad_norm": 5.387217998504639,
+      "learning_rate": 3.516666666666667e-05,
+      "loss": 2.0176,
+      "step": 222500
+    },
+    {
+      "epoch": 0.892,
+      "grad_norm": 2.7053544521331787,
+      "learning_rate": 3.513333333333334e-05,
+      "loss": 2.0576,
+      "step": 223000
+    },
+    {
+      "epoch": 0.894,
+      "grad_norm": 3.1920294761657715,
+      "learning_rate": 3.51e-05,
+      "loss": 2.0648,
+      "step": 223500
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 3.1956534385681152,
+      "learning_rate": 3.506666666666667e-05,
+      "loss": 1.9883,
+      "step": 224000
+    },
+    {
+      "epoch": 0.898,
+      "grad_norm": 5.129436492919922,
+      "learning_rate": 3.5033333333333336e-05,
+      "loss": 2.0399,
+      "step": 224500
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 3.581359624862671,
+      "learning_rate": 3.5e-05,
+      "loss": 2.0282,
+      "step": 225000
+    },
+    {
+      "epoch": 0.902,
+      "grad_norm": 5.721236705780029,
+      "learning_rate": 3.496666666666667e-05,
+      "loss": 1.9926,
+      "step": 225500
+    },
+    {
+      "epoch": 0.904,
+      "grad_norm": 3.101463794708252,
+      "learning_rate": 3.493333333333333e-05,
+      "loss": 2.0188,
+      "step": 226000
+    },
+    {
+      "epoch": 0.906,
+      "grad_norm": 4.087904930114746,
+      "learning_rate": 3.49e-05,
+      "loss": 2.0416,
+      "step": 226500
+    },
+    {
+      "epoch": 0.908,
+      "grad_norm": 3.628141403198242,
+      "learning_rate": 3.486666666666667e-05,
+      "loss": 2.0289,
+      "step": 227000
+    },
+    {
+      "epoch": 0.91,
+      "grad_norm": 2.313952922821045,
+      "learning_rate": 3.483333333333334e-05,
+      "loss": 2.0119,
+      "step": 227500
+    },
+    {
+      "epoch": 0.912,
+      "grad_norm": 3.634509801864624,
+      "learning_rate": 3.48e-05,
+      "loss": 2.0395,
+      "step": 228000
+    },
+    {
+      "epoch": 0.914,
+      "grad_norm": 4.622471332550049,
+      "learning_rate": 3.476666666666667e-05,
+      "loss": 2.0134,
+      "step": 228500
+    },
+    {
+      "epoch": 0.916,
+      "grad_norm": 3.440319538116455,
+      "learning_rate": 3.4733333333333335e-05,
+      "loss": 2.0852,
+      "step": 229000
+    },
+    {
+      "epoch": 0.918,
+      "grad_norm": 2.6960558891296387,
+      "learning_rate": 3.4699999999999996e-05,
+      "loss": 2.0298,
+      "step": 229500
+    },
+    {
+      "epoch": 0.92,
+      "grad_norm": 1.829918622970581,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 1.9915,
+      "step": 230000
+    },
+    {
+      "epoch": 0.922,
+      "grad_norm": 3.5196449756622314,
+      "learning_rate": 3.463333333333333e-05,
+      "loss": 1.982,
+      "step": 230500
+    },
+    {
+      "epoch": 0.924,
+      "grad_norm": 2.8546199798583984,
+      "learning_rate": 3.46e-05,
+      "loss": 2.0097,
+      "step": 231000
+    },
+    {
+      "epoch": 0.926,
+      "grad_norm": 2.301971197128296,
+      "learning_rate": 3.456666666666667e-05,
+      "loss": 2.0415,
+      "step": 231500
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 3.687763214111328,
+      "learning_rate": 3.453333333333334e-05,
+      "loss": 1.9564,
+      "step": 232000
+    },
+    {
+      "epoch": 0.93,
+      "grad_norm": 3.731511354446411,
+      "learning_rate": 3.45e-05,
+      "loss": 2.0516,
+      "step": 232500
+    },
+    {
+      "epoch": 0.932,
+      "grad_norm": 4.483029365539551,
+      "learning_rate": 3.4466666666666666e-05,
+      "loss": 2.0385,
+      "step": 233000
+    },
+    {
+      "epoch": 0.934,
+      "grad_norm": 3.008272409439087,
+      "learning_rate": 3.4433333333333335e-05,
+      "loss": 2.034,
+      "step": 233500
+    },
+    {
+      "epoch": 0.936,
+      "grad_norm": 2.278749942779541,
+      "learning_rate": 3.4399999999999996e-05,
+      "loss": 1.9857,
+      "step": 234000
+    },
+    {
+      "epoch": 0.938,
+      "grad_norm": 2.739610195159912,
+      "learning_rate": 3.436666666666667e-05,
+      "loss": 1.9976,
+      "step": 234500
+    },
+    {
+      "epoch": 0.94,
+      "grad_norm": 3.2660326957702637,
+      "learning_rate": 3.433333333333333e-05,
+      "loss": 2.0563,
+      "step": 235000
+    },
+    {
+      "epoch": 0.942,
+      "grad_norm": 3.092320203781128,
+      "learning_rate": 3.430000000000001e-05,
+      "loss": 2.0053,
+      "step": 235500
+    },
+    {
+      "epoch": 0.944,
+      "grad_norm": 2.2529335021972656,
+      "learning_rate": 3.426666666666667e-05,
+      "loss": 2.0104,
+      "step": 236000
+    },
+    {
+      "epoch": 0.946,
+      "grad_norm": 2.7059290409088135,
+      "learning_rate": 3.4233333333333336e-05,
+      "loss": 1.9848,
+      "step": 236500
+    },
+    {
+      "epoch": 0.948,
+      "grad_norm": 2.823878526687622,
+      "learning_rate": 3.4200000000000005e-05,
+      "loss": 2.0381,
+      "step": 237000
+    },
+    {
+      "epoch": 0.95,
+      "grad_norm": 4.369820594787598,
+      "learning_rate": 3.4166666666666666e-05,
+      "loss": 1.9899,
+      "step": 237500
+    },
+    {
+      "epoch": 0.952,
+      "grad_norm": 4.533642292022705,
+      "learning_rate": 3.4133333333333334e-05,
+      "loss": 2.0017,
+      "step": 238000
+    },
+    {
+      "epoch": 0.954,
+      "grad_norm": 3.950101375579834,
+      "learning_rate": 3.41e-05,
+      "loss": 1.9672,
+      "step": 238500
+    },
+    {
+      "epoch": 0.956,
+      "grad_norm": 2.77771258354187,
+      "learning_rate": 3.406666666666667e-05,
+      "loss": 1.992,
+      "step": 239000
+    },
+    {
+      "epoch": 0.958,
+      "grad_norm": 2.934579849243164,
+      "learning_rate": 3.403333333333333e-05,
+      "loss": 2.0151,
+      "step": 239500
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 3.074580430984497,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 2.0646,
+      "step": 240000
+    },
+    {
+      "epoch": 0.962,
+      "grad_norm": 2.964944362640381,
+      "learning_rate": 3.396666666666667e-05,
+      "loss": 1.9509,
+      "step": 240500
+    },
+    {
+      "epoch": 0.964,
+      "grad_norm": 4.4962687492370605,
+      "learning_rate": 3.3933333333333336e-05,
+      "loss": 1.9964,
+      "step": 241000
+    },
+    {
+      "epoch": 0.966,
+      "grad_norm": 4.716154098510742,
+      "learning_rate": 3.3900000000000004e-05,
+      "loss": 1.9935,
+      "step": 241500
+    },
+    {
+      "epoch": 0.968,
+      "grad_norm": 4.54582405090332,
+      "learning_rate": 3.3866666666666665e-05,
+      "loss": 2.0571,
+      "step": 242000
+    },
+    {
+      "epoch": 0.97,
+      "grad_norm": 2.189838409423828,
+      "learning_rate": 3.3833333333333334e-05,
+      "loss": 1.9956,
+      "step": 242500
+    },
+    {
+      "epoch": 0.972,
+      "grad_norm": 5.158834457397461,
+      "learning_rate": 3.38e-05,
+      "loss": 2.045,
+      "step": 243000
+    },
+    {
+      "epoch": 0.974,
+      "grad_norm": 3.4111690521240234,
+      "learning_rate": 3.376666666666667e-05,
+      "loss": 2.0074,
+      "step": 243500
+    },
+    {
+      "epoch": 0.976,
+      "grad_norm": 2.365373373031616,
+      "learning_rate": 3.373333333333333e-05,
+      "loss": 1.973,
+      "step": 244000
+    },
+    {
+      "epoch": 0.978,
+      "grad_norm": 3.524280548095703,
+      "learning_rate": 3.3700000000000006e-05,
+      "loss": 2.0566,
+      "step": 244500
+    },
+    {
+      "epoch": 0.98,
+      "grad_norm": 2.8778977394104004,
+      "learning_rate": 3.366666666666667e-05,
+      "loss": 1.9827,
+      "step": 245000
+    },
+    {
+      "epoch": 0.982,
+      "grad_norm": 3.2189018726348877,
+      "learning_rate": 3.3633333333333335e-05,
+      "loss": 1.9813,
+      "step": 245500
+    },
+    {
+      "epoch": 0.984,
+      "grad_norm": 2.961458921432495,
+      "learning_rate": 3.3600000000000004e-05,
+      "loss": 1.9986,
+      "step": 246000
+    },
+    {
+      "epoch": 0.986,
+      "grad_norm": 2.770312786102295,
+      "learning_rate": 3.356666666666667e-05,
+      "loss": 1.9991,
+      "step": 246500
+    },
+    {
+      "epoch": 0.988,
+      "grad_norm": 4.443371295928955,
+      "learning_rate": 3.353333333333333e-05,
+      "loss": 1.9913,
+      "step": 247000
+    },
+    {
+      "epoch": 0.99,
+      "grad_norm": 2.6619489192962646,
+      "learning_rate": 3.35e-05,
+      "loss": 1.9642,
+      "step": 247500
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 5.80720853805542,
+      "learning_rate": 3.346666666666667e-05,
+      "loss": 1.9737,
+      "step": 248000
+    },
+    {
+      "epoch": 0.994,
+      "grad_norm": 1.39483642578125,
+      "learning_rate": 3.343333333333333e-05,
+      "loss": 2.0171,
+      "step": 248500
+    },
+    {
+      "epoch": 0.996,
+      "grad_norm": 2.9843904972076416,
+      "learning_rate": 3.3400000000000005e-05,
+      "loss": 1.9704,
+      "step": 249000
+    },
+    {
+      "epoch": 0.998,
+      "grad_norm": 1.9182007312774658,
+      "learning_rate": 3.336666666666667e-05,
+      "loss": 2.0012,
+      "step": 249500
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 3.832106113433838,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 1.959,
+      "step": 250000
+    },
+    {
+      "epoch": 1.002,
+      "grad_norm": 3.529172658920288,
+      "learning_rate": 3.33e-05,
+      "loss": 1.9519,
+      "step": 250500
+    },
+    {
+      "epoch": 1.004,
+      "grad_norm": 3.227151870727539,
+      "learning_rate": 3.326666666666667e-05,
+      "loss": 2.0104,
+      "step": 251000
+    },
+    {
+      "epoch": 1.006,
+      "grad_norm": 4.671088695526123,
+      "learning_rate": 3.323333333333333e-05,
+      "loss": 1.9652,
+      "step": 251500
+    },
+    {
+      "epoch": 1.008,
+      "grad_norm": 5.364327907562256,
+      "learning_rate": 3.32e-05,
+      "loss": 1.9155,
+      "step": 252000
+    },
+    {
+      "epoch": 1.01,
+      "grad_norm": 5.8365797996521,
+      "learning_rate": 3.316666666666667e-05,
+      "loss": 1.9725,
+      "step": 252500
+    },
+    {
+      "epoch": 1.012,
+      "grad_norm": 3.8017468452453613,
+      "learning_rate": 3.313333333333333e-05,
+      "loss": 2.0161,
+      "step": 253000
+    },
+    {
+      "epoch": 1.014,
+      "grad_norm": 2.7072255611419678,
+      "learning_rate": 3.3100000000000005e-05,
+      "loss": 1.9622,
+      "step": 253500
+    },
+    {
+      "epoch": 1.016,
+      "grad_norm": 4.904727458953857,
+      "learning_rate": 3.3066666666666666e-05,
+      "loss": 1.9632,
+      "step": 254000
+    },
+    {
+      "epoch": 1.018,
+      "grad_norm": 4.010406970977783,
+      "learning_rate": 3.3033333333333334e-05,
+      "loss": 1.9613,
+      "step": 254500
+    },
+    {
+      "epoch": 1.02,
+      "grad_norm": 3.1618449687957764,
+      "learning_rate": 3.3e-05,
+      "loss": 1.98,
+      "step": 255000
+    },
+    {
+      "epoch": 1.022,
+      "grad_norm": 3.0833239555358887,
+      "learning_rate": 3.296666666666667e-05,
+      "loss": 1.9708,
+      "step": 255500
+    },
+    {
+      "epoch": 1.024,
+      "grad_norm": 3.199995756149292,
+      "learning_rate": 3.293333333333333e-05,
+      "loss": 1.9723,
+      "step": 256000
+    },
+    {
+      "epoch": 1.026,
+      "grad_norm": 3.322235584259033,
+      "learning_rate": 3.29e-05,
+      "loss": 1.9792,
+      "step": 256500
+    },
+    {
+      "epoch": 1.028,
+      "grad_norm": 2.7396552562713623,
+      "learning_rate": 3.286666666666667e-05,
+      "loss": 1.951,
+      "step": 257000
+    },
+    {
+      "epoch": 1.03,
+      "grad_norm": 3.056389093399048,
+      "learning_rate": 3.283333333333333e-05,
+      "loss": 1.9421,
+      "step": 257500
+    },
+    {
+      "epoch": 1.032,
+      "grad_norm": 2.7470860481262207,
+      "learning_rate": 3.2800000000000004e-05,
+      "loss": 1.9245,
+      "step": 258000
+    },
+    {
+      "epoch": 1.034,
+      "grad_norm": 2.7722136974334717,
+      "learning_rate": 3.2766666666666666e-05,
+      "loss": 1.9622,
+      "step": 258500
+    },
+    {
+      "epoch": 1.036,
+      "grad_norm": 4.122127056121826,
+      "learning_rate": 3.2733333333333334e-05,
+      "loss": 1.9326,
+      "step": 259000
+    },
+    {
+      "epoch": 1.038,
+      "grad_norm": 2.4798827171325684,
+      "learning_rate": 3.27e-05,
+      "loss": 1.9907,
+      "step": 259500
+    },
+    {
+      "epoch": 1.04,
+      "grad_norm": 3.258105754852295,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 1.937,
+      "step": 260000
+    },
+    {
+      "epoch": 1.042,
+      "grad_norm": 3.6283533573150635,
+      "learning_rate": 3.263333333333333e-05,
+      "loss": 2.0038,
+      "step": 260500
+    },
+    {
+      "epoch": 1.044,
+      "grad_norm": 3.2314536571502686,
+      "learning_rate": 3.26e-05,
+      "loss": 2.0125,
+      "step": 261000
+    },
+    {
+      "epoch": 1.046,
+      "grad_norm": 3.685002088546753,
+      "learning_rate": 3.256666666666667e-05,
+      "loss": 1.9459,
+      "step": 261500
+    },
+    {
+      "epoch": 1.048,
+      "grad_norm": 3.896249294281006,
+      "learning_rate": 3.253333333333333e-05,
+      "loss": 1.9259,
+      "step": 262000
+    },
+    {
+      "epoch": 1.05,
+      "grad_norm": 3.727299690246582,
+      "learning_rate": 3.2500000000000004e-05,
+      "loss": 1.9916,
+      "step": 262500
+    },
+    {
+      "epoch": 1.052,
+      "grad_norm": 3.4076099395751953,
+      "learning_rate": 3.2466666666666665e-05,
+      "loss": 1.9669,
+      "step": 263000
+    },
+    {
+      "epoch": 1.054,
+      "grad_norm": 4.583504676818848,
+      "learning_rate": 3.243333333333333e-05,
+      "loss": 1.9998,
+      "step": 263500
+    },
+    {
+      "epoch": 1.056,
+      "grad_norm": 3.0935134887695312,
+      "learning_rate": 3.24e-05,
+      "loss": 1.9161,
+      "step": 264000
+    },
+    {
+      "epoch": 1.058,
+      "grad_norm": 3.6007726192474365,
+      "learning_rate": 3.236666666666667e-05,
+      "loss": 1.9494,
+      "step": 264500
+    },
+    {
+      "epoch": 1.06,
+      "grad_norm": 3.0946245193481445,
+      "learning_rate": 3.233333333333333e-05,
+      "loss": 1.9526,
+      "step": 265000
+    },
+    {
+      "epoch": 1.062,
+      "grad_norm": 2.779569149017334,
+      "learning_rate": 3.2300000000000006e-05,
+      "loss": 1.9854,
+      "step": 265500
+    },
+    {
+      "epoch": 1.064,
+      "grad_norm": 3.2395145893096924,
+      "learning_rate": 3.226666666666667e-05,
+      "loss": 2.0255,
+      "step": 266000
+    },
+    {
+      "epoch": 1.066,
+      "grad_norm": 3.470747470855713,
+      "learning_rate": 3.2233333333333335e-05,
+      "loss": 1.9302,
+      "step": 266500
+    },
+    {
+      "epoch": 1.068,
+      "grad_norm": 2.9939773082733154,
+      "learning_rate": 3.2200000000000003e-05,
+      "loss": 1.9791,
+      "step": 267000
+    },
+    {
+      "epoch": 1.07,
+      "grad_norm": 3.405712127685547,
+      "learning_rate": 3.2166666666666665e-05,
+      "loss": 1.9445,
+      "step": 267500
+    },
+    {
+      "epoch": 1.072,
+      "grad_norm": 3.3660807609558105,
+      "learning_rate": 3.213333333333334e-05,
+      "loss": 1.9239,
+      "step": 268000
+    },
+    {
+      "epoch": 1.074,
+      "grad_norm": 3.351008176803589,
+      "learning_rate": 3.21e-05,
+      "loss": 1.965,
+      "step": 268500
+    },
+    {
+      "epoch": 1.076,
+      "grad_norm": 2.93300724029541,
+      "learning_rate": 3.206666666666667e-05,
+      "loss": 1.9289,
+      "step": 269000
+    },
+    {
+      "epoch": 1.078,
+      "grad_norm": 3.768631935119629,
+      "learning_rate": 3.203333333333334e-05,
+      "loss": 1.9255,
+      "step": 269500
+    },
+    {
+      "epoch": 1.08,
+      "grad_norm": 2.7596116065979004,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 1.9067,
+      "step": 270000
+    },
+    {
+      "epoch": 1.082,
+      "grad_norm": 3.4423370361328125,
+      "learning_rate": 3.196666666666667e-05,
+      "loss": 2.0037,
+      "step": 270500
+    },
+    {
+      "epoch": 1.084,
+      "grad_norm": 3.480097532272339,
+      "learning_rate": 3.1933333333333335e-05,
+      "loss": 1.964,
+      "step": 271000
+    },
+    {
+      "epoch": 1.086,
+      "grad_norm": 2.8090388774871826,
+      "learning_rate": 3.19e-05,
+      "loss": 1.9531,
+      "step": 271500
+    },
+    {
+      "epoch": 1.088,
+      "grad_norm": 1.4494075775146484,
+      "learning_rate": 3.1866666666666664e-05,
+      "loss": 1.9398,
+      "step": 272000
+    },
+    {
+      "epoch": 1.09,
+      "grad_norm": 7.362401962280273,
+      "learning_rate": 3.183333333333334e-05,
+      "loss": 1.9683,
+      "step": 272500
+    },
+    {
+      "epoch": 1.092,
+      "grad_norm": 3.100543737411499,
+      "learning_rate": 3.18e-05,
+      "loss": 1.9526,
+      "step": 273000
+    },
+    {
+      "epoch": 1.094,
+      "grad_norm": 2.027784824371338,
+      "learning_rate": 3.176666666666667e-05,
+      "loss": 1.9208,
+      "step": 273500
+    },
+    {
+      "epoch": 1.096,
+      "grad_norm": 3.464214324951172,
+      "learning_rate": 3.173333333333334e-05,
+      "loss": 2.0073,
+      "step": 274000
+    },
+    {
+      "epoch": 1.098,
+      "grad_norm": 2.7647407054901123,
+      "learning_rate": 3.1700000000000005e-05,
+      "loss": 1.9478,
+      "step": 274500
+    },
+    {
+      "epoch": 1.1,
+      "grad_norm": 3.710768222808838,
+      "learning_rate": 3.1666666666666666e-05,
+      "loss": 1.9895,
+      "step": 275000
+    },
+    {
+      "epoch": 1.102,
+      "grad_norm": 5.687117099761963,
+      "learning_rate": 3.1633333333333334e-05,
+      "loss": 1.9889,
+      "step": 275500
+    },
+    {
+      "epoch": 1.104,
+      "grad_norm": 3.2564468383789062,
+      "learning_rate": 3.16e-05,
+      "loss": 1.9725,
+      "step": 276000
+    },
+    {
+      "epoch": 1.106,
+      "grad_norm": 3.0401391983032227,
+      "learning_rate": 3.1566666666666664e-05,
+      "loss": 1.9839,
+      "step": 276500
+    },
+    {
+      "epoch": 1.108,
+      "grad_norm": 3.5967485904693604,
+      "learning_rate": 3.153333333333334e-05,
+      "loss": 1.9638,
+      "step": 277000
+    },
+    {
+      "epoch": 1.11,
+      "grad_norm": 3.5948970317840576,
+      "learning_rate": 3.15e-05,
+      "loss": 1.9547,
+      "step": 277500
+    },
+    {
+      "epoch": 1.112,
+      "grad_norm": 2.420476198196411,
+      "learning_rate": 3.146666666666667e-05,
+      "loss": 1.9521,
+      "step": 278000
+    },
+    {
+      "epoch": 1.114,
+      "grad_norm": 2.943868398666382,
+      "learning_rate": 3.1433333333333336e-05,
+      "loss": 1.95,
+      "step": 278500
+    },
+    {
+      "epoch": 1.116,
+      "grad_norm": 3.260451555252075,
+      "learning_rate": 3.1400000000000004e-05,
+      "loss": 1.9483,
+      "step": 279000
+    },
+    {
+      "epoch": 1.1179999999999999,
+      "grad_norm": 4.045527935028076,
+      "learning_rate": 3.1366666666666666e-05,
+      "loss": 1.971,
+      "step": 279500
+    },
+    {
+      "epoch": 1.12,
+      "grad_norm": 3.394606351852417,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 1.9192,
+      "step": 280000
+    },
+    {
+      "epoch": 1.1219999999999999,
+      "grad_norm": 3.6779961585998535,
+      "learning_rate": 3.13e-05,
+      "loss": 1.966,
+      "step": 280500
+    },
+    {
+      "epoch": 1.124,
+      "grad_norm": 2.4559202194213867,
+      "learning_rate": 3.126666666666666e-05,
+      "loss": 1.9586,
+      "step": 281000
+    },
+    {
+      "epoch": 1.126,
+      "grad_norm": 3.6582748889923096,
+      "learning_rate": 3.123333333333334e-05,
+      "loss": 1.9806,
+      "step": 281500
+    },
+    {
+      "epoch": 1.1280000000000001,
+      "grad_norm": 4.684147357940674,
+      "learning_rate": 3.12e-05,
+      "loss": 1.9257,
+      "step": 282000
+    },
+    {
+      "epoch": 1.13,
+      "grad_norm": 3.2761385440826416,
+      "learning_rate": 3.116666666666667e-05,
+      "loss": 1.9436,
+      "step": 282500
+    },
+    {
+      "epoch": 1.1320000000000001,
+      "grad_norm": 3.5441782474517822,
+      "learning_rate": 3.1133333333333336e-05,
+      "loss": 1.9869,
+      "step": 283000
+    },
+    {
+      "epoch": 1.134,
+      "grad_norm": 3.5346860885620117,
+      "learning_rate": 3.1100000000000004e-05,
+      "loss": 1.9372,
+      "step": 283500
+    },
+    {
+      "epoch": 1.1360000000000001,
+      "grad_norm": 2.440453290939331,
+      "learning_rate": 3.1066666666666665e-05,
+      "loss": 1.9658,
+      "step": 284000
+    },
+    {
+      "epoch": 1.138,
+      "grad_norm": 5.322811603546143,
+      "learning_rate": 3.103333333333333e-05,
+      "loss": 1.9713,
+      "step": 284500
+    },
+    {
+      "epoch": 1.1400000000000001,
+      "grad_norm": 2.808006763458252,
+      "learning_rate": 3.1e-05,
+      "loss": 1.9839,
+      "step": 285000
+    },
+    {
+      "epoch": 1.142,
+      "grad_norm": 2.8712430000305176,
+      "learning_rate": 3.096666666666666e-05,
+      "loss": 1.9384,
+      "step": 285500
+    },
+    {
+      "epoch": 1.144,
+      "grad_norm": 3.9947776794433594,
+      "learning_rate": 3.093333333333334e-05,
+      "loss": 1.944,
+      "step": 286000
+    },
+    {
+      "epoch": 1.146,
+      "grad_norm": 4.884302616119385,
+      "learning_rate": 3.09e-05,
+      "loss": 1.9763,
+      "step": 286500
+    },
+    {
+      "epoch": 1.148,
+      "grad_norm": 3.3440279960632324,
+      "learning_rate": 3.086666666666667e-05,
+      "loss": 1.9307,
+      "step": 287000
+    },
+    {
+      "epoch": 1.15,
+      "grad_norm": 2.6648025512695312,
+      "learning_rate": 3.0833333333333335e-05,
+      "loss": 2.0214,
+      "step": 287500
+    },
+    {
+      "epoch": 1.152,
+      "grad_norm": 4.617626190185547,
+      "learning_rate": 3.08e-05,
+      "loss": 1.9456,
+      "step": 288000
+    },
+    {
+      "epoch": 1.154,
+      "grad_norm": 3.55499529838562,
+      "learning_rate": 3.0766666666666665e-05,
+      "loss": 1.9803,
+      "step": 288500
+    },
+    {
+      "epoch": 1.156,
+      "grad_norm": 3.234593629837036,
+      "learning_rate": 3.073333333333334e-05,
+      "loss": 1.9191,
+      "step": 289000
+    },
+    {
+      "epoch": 1.158,
+      "grad_norm": 2.5377213954925537,
+      "learning_rate": 3.07e-05,
+      "loss": 1.9538,
+      "step": 289500
+    },
+    {
+      "epoch": 1.16,
+      "grad_norm": 3.115741491317749,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 1.9639,
+      "step": 290000
+    },
+    {
+      "epoch": 1.162,
+      "grad_norm": 3.1304171085357666,
+      "learning_rate": 3.063333333333334e-05,
+      "loss": 1.9286,
+      "step": 290500
+    },
+    {
+      "epoch": 1.164,
+      "grad_norm": 2.4939486980438232,
+      "learning_rate": 3.06e-05,
+      "loss": 1.9397,
+      "step": 291000
+    },
+    {
+      "epoch": 1.166,
+      "grad_norm": 3.71409010887146,
+      "learning_rate": 3.0566666666666667e-05,
+      "loss": 2.0122,
+      "step": 291500
+    },
+    {
+      "epoch": 1.168,
+      "grad_norm": 2.6886892318725586,
+      "learning_rate": 3.0533333333333335e-05,
+      "loss": 1.9683,
+      "step": 292000
+    },
+    {
+      "epoch": 1.17,
+      "grad_norm": 1.988845705986023,
+      "learning_rate": 3.05e-05,
+      "loss": 1.9289,
+      "step": 292500
+    },
+    {
+      "epoch": 1.172,
+      "grad_norm": 2.950002431869507,
+      "learning_rate": 3.0466666666666664e-05,
+      "loss": 1.9677,
+      "step": 293000
+    },
+    {
+      "epoch": 1.174,
+      "grad_norm": 3.880573034286499,
+      "learning_rate": 3.0433333333333336e-05,
+      "loss": 1.9738,
+      "step": 293500
+    },
+    {
+      "epoch": 1.176,
+      "grad_norm": 4.110548496246338,
+      "learning_rate": 3.04e-05,
+      "loss": 1.9293,
+      "step": 294000
+    },
+    {
+      "epoch": 1.178,
+      "grad_norm": 2.448448419570923,
+      "learning_rate": 3.0366666666666665e-05,
+      "loss": 1.9623,
+      "step": 294500
+    },
+    {
+      "epoch": 1.18,
+      "grad_norm": 2.491990327835083,
+      "learning_rate": 3.0333333333333337e-05,
+      "loss": 1.9821,
+      "step": 295000
+    },
+    {
+      "epoch": 1.182,
+      "grad_norm": 3.182067632675171,
+      "learning_rate": 3.03e-05,
+      "loss": 1.9474,
+      "step": 295500
+    },
+    {
+      "epoch": 1.184,
+      "grad_norm": 3.369154691696167,
+      "learning_rate": 3.0266666666666666e-05,
+      "loss": 1.9866,
+      "step": 296000
+    },
+    {
+      "epoch": 1.186,
+      "grad_norm": 3.41951060295105,
+      "learning_rate": 3.0233333333333334e-05,
+      "loss": 1.9288,
+      "step": 296500
+    },
+    {
+      "epoch": 1.188,
+      "grad_norm": 5.4748101234436035,
+      "learning_rate": 3.02e-05,
+      "loss": 1.9657,
+      "step": 297000
+    },
+    {
+      "epoch": 1.19,
+      "grad_norm": 4.121461391448975,
+      "learning_rate": 3.016666666666667e-05,
+      "loss": 1.9054,
+      "step": 297500
+    },
+    {
+      "epoch": 1.192,
+      "grad_norm": 4.263454437255859,
+      "learning_rate": 3.0133333333333335e-05,
+      "loss": 1.946,
+      "step": 298000
+    },
+    {
+      "epoch": 1.194,
+      "grad_norm": 2.8658368587493896,
+      "learning_rate": 3.01e-05,
+      "loss": 1.9306,
+      "step": 298500
+    },
+    {
+      "epoch": 1.196,
+      "grad_norm": 3.3679144382476807,
+      "learning_rate": 3.006666666666667e-05,
+      "loss": 1.9949,
+      "step": 299000
+    },
+    {
+      "epoch": 1.198,
+      "grad_norm": 3.039523124694824,
+      "learning_rate": 3.0033333333333336e-05,
+      "loss": 1.9905,
+      "step": 299500
+    },
+    {
+      "epoch": 1.2,
+      "grad_norm": 1.3373075723648071,
+      "learning_rate": 3e-05,
+      "loss": 1.9708,
+      "step": 300000
+    },
+    {
+      "epoch": 1.202,
+      "grad_norm": 2.54362154006958,
+      "learning_rate": 2.9966666666666672e-05,
+      "loss": 1.9249,
+      "step": 300500
+    },
+    {
+      "epoch": 1.204,
+      "grad_norm": 4.981725692749023,
+      "learning_rate": 2.9933333333333337e-05,
+      "loss": 1.963,
+      "step": 301000
+    },
+    {
+      "epoch": 1.206,
+      "grad_norm": 3.2178914546966553,
+      "learning_rate": 2.9900000000000002e-05,
+      "loss": 2.0233,
+      "step": 301500
+    },
+    {
+      "epoch": 1.208,
+      "grad_norm": 4.110596656799316,
+      "learning_rate": 2.986666666666667e-05,
+      "loss": 1.9957,
+      "step": 302000
+    },
+    {
+      "epoch": 1.21,
+      "grad_norm": 2.6844451427459717,
+      "learning_rate": 2.9833333333333335e-05,
+      "loss": 1.9797,
+      "step": 302500
+    },
+    {
+      "epoch": 1.212,
+      "grad_norm": 2.7491493225097656,
+      "learning_rate": 2.98e-05,
+      "loss": 1.9373,
+      "step": 303000
+    },
+    {
+      "epoch": 1.214,
+      "grad_norm": 2.2133188247680664,
+      "learning_rate": 2.976666666666667e-05,
+      "loss": 1.9831,
+      "step": 303500
+    },
+    {
+      "epoch": 1.216,
+      "grad_norm": 3.1350815296173096,
+      "learning_rate": 2.9733333333333336e-05,
+      "loss": 1.9739,
+      "step": 304000
+    },
+    {
+      "epoch": 1.218,
+      "grad_norm": 4.361825942993164,
+      "learning_rate": 2.97e-05,
+      "loss": 1.9041,
+      "step": 304500
+    },
+    {
+      "epoch": 1.22,
+      "grad_norm": 2.5476202964782715,
+      "learning_rate": 2.9666666666666672e-05,
+      "loss": 1.925,
+      "step": 305000
+    },
+    {
+      "epoch": 1.222,
+      "grad_norm": 2.9587409496307373,
+      "learning_rate": 2.9633333333333336e-05,
+      "loss": 1.9649,
+      "step": 305500
+    },
+    {
+      "epoch": 1.224,
+      "grad_norm": 4.673561096191406,
+      "learning_rate": 2.96e-05,
+      "loss": 1.9441,
+      "step": 306000
+    },
+    {
+      "epoch": 1.226,
+      "grad_norm": 4.757534027099609,
+      "learning_rate": 2.956666666666667e-05,
+      "loss": 2.003,
+      "step": 306500
+    },
+    {
+      "epoch": 1.228,
+      "grad_norm": 2.7775943279266357,
+      "learning_rate": 2.9533333333333334e-05,
+      "loss": 1.9134,
+      "step": 307000
+    },
+    {
+      "epoch": 1.23,
+      "grad_norm": 2.4004340171813965,
+      "learning_rate": 2.95e-05,
+      "loss": 1.9976,
+      "step": 307500
+    },
+    {
+      "epoch": 1.232,
+      "grad_norm": 5.399781703948975,
+      "learning_rate": 2.946666666666667e-05,
+      "loss": 1.9294,
+      "step": 308000
+    },
+    {
+      "epoch": 1.234,
+      "grad_norm": 1.8388854265213013,
+      "learning_rate": 2.9433333333333335e-05,
+      "loss": 1.9158,
+      "step": 308500
+    },
+    {
+      "epoch": 1.236,
+      "grad_norm": 2.5463201999664307,
+      "learning_rate": 2.94e-05,
+      "loss": 2.0071,
+      "step": 309000
+    },
+    {
+      "epoch": 1.238,
+      "grad_norm": 2.6961874961853027,
+      "learning_rate": 2.936666666666667e-05,
+      "loss": 1.9348,
+      "step": 309500
+    },
+    {
+      "epoch": 1.24,
+      "grad_norm": 1.8212966918945312,
+      "learning_rate": 2.9333333333333336e-05,
+      "loss": 1.9694,
+      "step": 310000
+    },
+    {
+      "epoch": 1.242,
+      "grad_norm": 2.46610426902771,
+      "learning_rate": 2.93e-05,
+      "loss": 1.9325,
+      "step": 310500
+    },
+    {
+      "epoch": 1.244,
+      "grad_norm": 2.851161241531372,
+      "learning_rate": 2.926666666666667e-05,
+      "loss": 1.9539,
+      "step": 311000
+    },
+    {
+      "epoch": 1.246,
+      "grad_norm": 2.508186101913452,
+      "learning_rate": 2.9233333333333334e-05,
+      "loss": 1.9993,
+      "step": 311500
+    },
+    {
+      "epoch": 1.248,
+      "grad_norm": 3.743149995803833,
+      "learning_rate": 2.9199999999999998e-05,
+      "loss": 1.9341,
+      "step": 312000
+    },
+    {
+      "epoch": 1.25,
+      "grad_norm": 2.6007370948791504,
+      "learning_rate": 2.916666666666667e-05,
+      "loss": 1.9394,
+      "step": 312500
+    },
+    {
+      "epoch": 1.252,
+      "grad_norm": 8.935428619384766,
+      "learning_rate": 2.9133333333333334e-05,
+      "loss": 1.9592,
+      "step": 313000
+    },
+    {
+      "epoch": 1.254,
+      "grad_norm": 2.37782883644104,
+      "learning_rate": 2.91e-05,
+      "loss": 1.9776,
+      "step": 313500
+    },
+    {
+      "epoch": 1.256,
+      "grad_norm": 3.160939931869507,
+      "learning_rate": 2.906666666666667e-05,
+      "loss": 1.9509,
+      "step": 314000
+    },
+    {
+      "epoch": 1.258,
+      "grad_norm": 3.2063426971435547,
+      "learning_rate": 2.9033333333333335e-05,
+      "loss": 1.9855,
+      "step": 314500
+    },
+    {
+      "epoch": 1.26,
+      "grad_norm": 3.0128235816955566,
+      "learning_rate": 2.9e-05,
+      "loss": 1.9211,
+      "step": 315000
+    },
+    {
+      "epoch": 1.262,
+      "grad_norm": 4.047041416168213,
+      "learning_rate": 2.8966666666666668e-05,
+      "loss": 1.9128,
+      "step": 315500
+    },
+    {
+      "epoch": 1.264,
+      "grad_norm": 2.325835943222046,
+      "learning_rate": 2.8933333333333333e-05,
+      "loss": 2.0063,
+      "step": 316000
+    },
+    {
+      "epoch": 1.266,
+      "grad_norm": 3.5710012912750244,
+      "learning_rate": 2.8899999999999998e-05,
+      "loss": 1.9788,
+      "step": 316500
+    },
+    {
+      "epoch": 1.268,
+      "grad_norm": 4.672359943389893,
+      "learning_rate": 2.886666666666667e-05,
+      "loss": 1.9281,
+      "step": 317000
+    },
+    {
+      "epoch": 1.27,
+      "grad_norm": 4.793974876403809,
+      "learning_rate": 2.8833333333333334e-05,
+      "loss": 1.968,
+      "step": 317500
+    },
+    {
+      "epoch": 1.272,
+      "grad_norm": 1.8592233657836914,
+      "learning_rate": 2.88e-05,
+      "loss": 1.9662,
+      "step": 318000
+    },
+    {
+      "epoch": 1.274,
+      "grad_norm": 3.927013397216797,
+      "learning_rate": 2.876666666666667e-05,
+      "loss": 1.9835,
+      "step": 318500
+    },
+    {
+      "epoch": 1.276,
+      "grad_norm": 4.40059757232666,
+      "learning_rate": 2.8733333333333335e-05,
+      "loss": 2.007,
+      "step": 319000
+    },
+    {
+      "epoch": 1.278,
+      "grad_norm": 3.1267943382263184,
+      "learning_rate": 2.87e-05,
+      "loss": 1.9333,
+      "step": 319500
+    },
+    {
+      "epoch": 1.28,
+      "grad_norm": 4.13264799118042,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 1.9863,
+      "step": 320000
+    },
+    {
+      "epoch": 1.282,
+      "grad_norm": 3.432161569595337,
+      "learning_rate": 2.8633333333333336e-05,
+      "loss": 1.8894,
+      "step": 320500
+    },
+    {
+      "epoch": 1.284,
+      "grad_norm": 3.4222466945648193,
+      "learning_rate": 2.86e-05,
+      "loss": 1.9474,
+      "step": 321000
+    },
+    {
+      "epoch": 1.286,
+      "grad_norm": 3.0571742057800293,
+      "learning_rate": 2.856666666666667e-05,
+      "loss": 1.9766,
+      "step": 321500
+    },
+    {
+      "epoch": 1.288,
+      "grad_norm": 2.558643341064453,
+      "learning_rate": 2.8533333333333333e-05,
+      "loss": 1.9461,
+      "step": 322000
+    },
+    {
+      "epoch": 1.29,
+      "grad_norm": 3.561150074005127,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 1.9584,
+      "step": 322500
+    },
+    {
+      "epoch": 1.292,
+      "grad_norm": 4.499176979064941,
+      "learning_rate": 2.846666666666667e-05,
+      "loss": 1.9395,
+      "step": 323000
+    },
+    {
+      "epoch": 1.294,
+      "grad_norm": 3.4617388248443604,
+      "learning_rate": 2.8433333333333334e-05,
+      "loss": 1.9721,
+      "step": 323500
+    },
+    {
+      "epoch": 1.296,
+      "grad_norm": 3.8133533000946045,
+      "learning_rate": 2.84e-05,
+      "loss": 1.9494,
+      "step": 324000
+    },
+    {
+      "epoch": 1.298,
+      "grad_norm": 2.4999990463256836,
+      "learning_rate": 2.836666666666667e-05,
+      "loss": 1.9296,
+      "step": 324500
+    },
+    {
+      "epoch": 1.3,
+      "grad_norm": 3.675123691558838,
+      "learning_rate": 2.8333333333333335e-05,
+      "loss": 1.9677,
+      "step": 325000
+    },
+    {
+      "epoch": 1.302,
+      "grad_norm": 4.2841386795043945,
+      "learning_rate": 2.83e-05,
+      "loss": 1.9303,
+      "step": 325500
+    },
+    {
+      "epoch": 1.304,
+      "grad_norm": 3.6480119228363037,
+      "learning_rate": 2.8266666666666668e-05,
+      "loss": 1.9121,
+      "step": 326000
+    },
+    {
+      "epoch": 1.306,
+      "grad_norm": 2.399094820022583,
+      "learning_rate": 2.8233333333333333e-05,
+      "loss": 1.9808,
+      "step": 326500
+    },
+    {
+      "epoch": 1.308,
+      "grad_norm": 3.567394256591797,
+      "learning_rate": 2.8199999999999998e-05,
+      "loss": 1.9368,
+      "step": 327000
+    },
+    {
+      "epoch": 1.31,
+      "grad_norm": 3.490063190460205,
+      "learning_rate": 2.816666666666667e-05,
+      "loss": 1.9698,
+      "step": 327500
+    },
+    {
+      "epoch": 1.312,
+      "grad_norm": 2.0350863933563232,
+      "learning_rate": 2.8133333333333334e-05,
+      "loss": 1.9752,
+      "step": 328000
+    },
+    {
+      "epoch": 1.314,
+      "grad_norm": 2.805644989013672,
+      "learning_rate": 2.8100000000000005e-05,
+      "loss": 1.8955,
+      "step": 328500
+    },
+    {
+      "epoch": 1.316,
+      "grad_norm": 2.807559013366699,
+      "learning_rate": 2.806666666666667e-05,
+      "loss": 1.9508,
+      "step": 329000
+    },
+    {
+      "epoch": 1.318,
+      "grad_norm": 4.305173397064209,
+      "learning_rate": 2.8033333333333335e-05,
+      "loss": 1.8898,
+      "step": 329500
+    },
+    {
+      "epoch": 1.32,
+      "grad_norm": 3.788299560546875,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 1.9835,
+      "step": 330000
+    },
+    {
+      "epoch": 1.322,
+      "grad_norm": 2.9872121810913086,
+      "learning_rate": 2.7966666666666668e-05,
+      "loss": 1.8811,
+      "step": 330500
+    },
+    {
+      "epoch": 1.324,
+      "grad_norm": 4.520979881286621,
+      "learning_rate": 2.7933333333333332e-05,
+      "loss": 1.9734,
+      "step": 331000
+    },
+    {
+      "epoch": 1.326,
+      "grad_norm": 4.454957485198975,
+      "learning_rate": 2.7900000000000004e-05,
+      "loss": 1.9085,
+      "step": 331500
+    },
+    {
+      "epoch": 1.328,
+      "grad_norm": 2.5593771934509277,
+      "learning_rate": 2.786666666666667e-05,
+      "loss": 1.8897,
+      "step": 332000
+    },
+    {
+      "epoch": 1.33,
+      "grad_norm": 3.120297431945801,
+      "learning_rate": 2.7833333333333333e-05,
+      "loss": 1.9646,
+      "step": 332500
+    },
+    {
+      "epoch": 1.332,
+      "grad_norm": 2.089595317840576,
+      "learning_rate": 2.7800000000000005e-05,
+      "loss": 1.9754,
+      "step": 333000
+    },
+    {
+      "epoch": 1.334,
+      "grad_norm": 3.0772883892059326,
+      "learning_rate": 2.776666666666667e-05,
+      "loss": 1.9736,
+      "step": 333500
+    },
+    {
+      "epoch": 1.336,
+      "grad_norm": 3.437891721725464,
+      "learning_rate": 2.7733333333333334e-05,
+      "loss": 1.9182,
+      "step": 334000
+    },
+    {
+      "epoch": 1.338,
+      "grad_norm": 3.688281536102295,
+      "learning_rate": 2.7700000000000002e-05,
+      "loss": 1.9581,
+      "step": 334500
+    },
+    {
+      "epoch": 1.34,
+      "grad_norm": 2.9639856815338135,
+      "learning_rate": 2.7666666666666667e-05,
+      "loss": 1.952,
+      "step": 335000
+    },
+    {
+      "epoch": 1.342,
+      "grad_norm": 2.8647725582122803,
+      "learning_rate": 2.7633333333333332e-05,
+      "loss": 1.9763,
+      "step": 335500
+    },
+    {
+      "epoch": 1.3439999999999999,
+      "grad_norm": 3.314138412475586,
+      "learning_rate": 2.7600000000000003e-05,
+      "loss": 1.9759,
+      "step": 336000
+    },
+    {
+      "epoch": 1.346,
+      "grad_norm": 4.604184150695801,
+      "learning_rate": 2.7566666666666668e-05,
+      "loss": 1.9265,
+      "step": 336500
+    },
+    {
+      "epoch": 1.3479999999999999,
+      "grad_norm": 3.743720531463623,
+      "learning_rate": 2.7533333333333333e-05,
+      "loss": 1.9293,
+      "step": 337000
+    },
+    {
+      "epoch": 1.35,
+      "grad_norm": 5.8576130867004395,
+      "learning_rate": 2.7500000000000004e-05,
+      "loss": 1.8839,
+      "step": 337500
+    },
+    {
+      "epoch": 1.3519999999999999,
+      "grad_norm": 2.8141660690307617,
+      "learning_rate": 2.746666666666667e-05,
+      "loss": 1.9335,
+      "step": 338000
+    },
+    {
+      "epoch": 1.354,
+      "grad_norm": 2.964207887649536,
+      "learning_rate": 2.7433333333333334e-05,
+      "loss": 1.9472,
+      "step": 338500
+    },
+    {
+      "epoch": 1.3559999999999999,
+      "grad_norm": 2.9222464561462402,
+      "learning_rate": 2.7400000000000002e-05,
+      "loss": 1.9207,
+      "step": 339000
+    },
+    {
+      "epoch": 1.358,
+      "grad_norm": 2.14105486869812,
+      "learning_rate": 2.7366666666666667e-05,
+      "loss": 1.9598,
+      "step": 339500
+    },
+    {
+      "epoch": 1.3599999999999999,
+      "grad_norm": 4.700246334075928,
+      "learning_rate": 2.733333333333333e-05,
+      "loss": 1.9482,
+      "step": 340000
+    },
+    {
+      "epoch": 1.362,
+      "grad_norm": 2.867978811264038,
+      "learning_rate": 2.7300000000000003e-05,
+      "loss": 1.9142,
+      "step": 340500
+    },
+    {
+      "epoch": 1.3639999999999999,
+      "grad_norm": 4.173141956329346,
+      "learning_rate": 2.7266666666666668e-05,
+      "loss": 1.9375,
+      "step": 341000
+    },
+    {
+      "epoch": 1.366,
+      "grad_norm": 3.5684845447540283,
+      "learning_rate": 2.7233333333333332e-05,
+      "loss": 1.9163,
+      "step": 341500
+    },
+    {
+      "epoch": 1.3679999999999999,
+      "grad_norm": 2.9499728679656982,
+      "learning_rate": 2.7200000000000004e-05,
+      "loss": 1.9405,
+      "step": 342000
+    },
+    {
+      "epoch": 1.37,
+      "grad_norm": 3.1491172313690186,
+      "learning_rate": 2.716666666666667e-05,
+      "loss": 1.8542,
+      "step": 342500
+    },
+    {
+      "epoch": 1.3719999999999999,
+      "grad_norm": 2.936821699142456,
+      "learning_rate": 2.7133333333333333e-05,
+      "loss": 1.9541,
+      "step": 343000
+    },
+    {
+      "epoch": 1.374,
+      "grad_norm": 3.2853519916534424,
+      "learning_rate": 2.7100000000000005e-05,
+      "loss": 1.9577,
+      "step": 343500
+    },
+    {
+      "epoch": 1.376,
+      "grad_norm": 2.245823383331299,
+      "learning_rate": 2.706666666666667e-05,
+      "loss": 1.9285,
+      "step": 344000
+    },
+    {
+      "epoch": 1.3780000000000001,
+      "grad_norm": 2.8352787494659424,
+      "learning_rate": 2.7033333333333334e-05,
+      "loss": 1.9186,
+      "step": 344500
+    },
+    {
+      "epoch": 1.38,
+      "grad_norm": 4.069087505340576,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 1.9573,
+      "step": 345000
+    },
+    {
+      "epoch": 1.3820000000000001,
+      "grad_norm": 3.304542303085327,
+      "learning_rate": 2.6966666666666667e-05,
+      "loss": 1.9355,
+      "step": 345500
+    },
+    {
+      "epoch": 1.384,
+      "grad_norm": 2.1801648139953613,
+      "learning_rate": 2.6933333333333332e-05,
+      "loss": 1.9079,
+      "step": 346000
+    },
+    {
+      "epoch": 1.3860000000000001,
+      "grad_norm": 3.3709545135498047,
+      "learning_rate": 2.6900000000000003e-05,
+      "loss": 1.9793,
+      "step": 346500
+    },
+    {
+      "epoch": 1.388,
+      "grad_norm": 3.504084825515747,
+      "learning_rate": 2.6866666666666668e-05,
+      "loss": 1.9197,
+      "step": 347000
+    },
+    {
+      "epoch": 1.3900000000000001,
+      "grad_norm": 2.0547022819519043,
+      "learning_rate": 2.6833333333333333e-05,
+      "loss": 1.9099,
+      "step": 347500
+    },
+    {
+      "epoch": 1.392,
+      "grad_norm": 1.8306704759597778,
+      "learning_rate": 2.6800000000000004e-05,
+      "loss": 1.9424,
+      "step": 348000
+    },
+    {
+      "epoch": 1.3940000000000001,
+      "grad_norm": 4.02212381362915,
+      "learning_rate": 2.676666666666667e-05,
+      "loss": 2.0033,
+      "step": 348500
+    },
+    {
+      "epoch": 1.396,
+      "grad_norm": 1.6803699731826782,
+      "learning_rate": 2.6733333333333334e-05,
+      "loss": 1.9181,
+      "step": 349000
+    },
+    {
+      "epoch": 1.3980000000000001,
+      "grad_norm": 4.2084059715271,
+      "learning_rate": 2.6700000000000002e-05,
+      "loss": 1.9311,
+      "step": 349500
+    },
+    {
+      "epoch": 1.4,
+      "grad_norm": 3.3669347763061523,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 1.9072,
+      "step": 350000
+    },
+    {
+      "epoch": 1.4020000000000001,
+      "grad_norm": 3.185051441192627,
+      "learning_rate": 2.663333333333333e-05,
+      "loss": 1.9342,
+      "step": 350500
+    },
+    {
+      "epoch": 1.404,
+      "grad_norm": 2.6800904273986816,
+      "learning_rate": 2.6600000000000003e-05,
+      "loss": 2.0068,
+      "step": 351000
+    },
+    {
+      "epoch": 1.4060000000000001,
+      "grad_norm": 3.8787059783935547,
+      "learning_rate": 2.6566666666666668e-05,
+      "loss": 1.9726,
+      "step": 351500
+    },
+    {
+      "epoch": 1.408,
+      "grad_norm": 3.4934422969818115,
+      "learning_rate": 2.6533333333333332e-05,
+      "loss": 1.9318,
+      "step": 352000
+    },
+    {
+      "epoch": 1.41,
+      "grad_norm": 2.6452531814575195,
+      "learning_rate": 2.6500000000000004e-05,
+      "loss": 1.9746,
+      "step": 352500
+    },
+    {
+      "epoch": 1.412,
+      "grad_norm": 2.4151275157928467,
+      "learning_rate": 2.646666666666667e-05,
+      "loss": 1.895,
+      "step": 353000
+    },
+    {
+      "epoch": 1.414,
+      "grad_norm": 3.3392443656921387,
+      "learning_rate": 2.6433333333333333e-05,
+      "loss": 1.9206,
+      "step": 353500
+    },
+    {
+      "epoch": 1.416,
+      "grad_norm": 3.3407106399536133,
+      "learning_rate": 2.64e-05,
+      "loss": 1.9167,
+      "step": 354000
+    },
+    {
+      "epoch": 1.418,
+      "grad_norm": 2.2099573612213135,
+      "learning_rate": 2.6366666666666666e-05,
+      "loss": 1.9366,
+      "step": 354500
+    },
+    {
+      "epoch": 1.42,
+      "grad_norm": 2.664048433303833,
+      "learning_rate": 2.633333333333333e-05,
+      "loss": 1.9466,
+      "step": 355000
+    },
+    {
+      "epoch": 1.422,
+      "grad_norm": 3.3587818145751953,
+      "learning_rate": 2.6300000000000002e-05,
+      "loss": 1.9178,
+      "step": 355500
+    },
+    {
+      "epoch": 1.424,
+      "grad_norm": 3.2821812629699707,
+      "learning_rate": 2.6266666666666667e-05,
+      "loss": 1.9028,
+      "step": 356000
+    },
+    {
+      "epoch": 1.426,
+      "grad_norm": 4.078558444976807,
+      "learning_rate": 2.6233333333333332e-05,
+      "loss": 1.9448,
+      "step": 356500
+    },
+    {
+      "epoch": 1.428,
+      "grad_norm": 3.0505146980285645,
+      "learning_rate": 2.6200000000000003e-05,
+      "loss": 1.9064,
+      "step": 357000
+    },
+    {
+      "epoch": 1.43,
+      "grad_norm": 3.850769281387329,
+      "learning_rate": 2.6166666666666668e-05,
+      "loss": 1.9225,
+      "step": 357500
+    },
+    {
+      "epoch": 1.432,
+      "grad_norm": 3.470407485961914,
+      "learning_rate": 2.6133333333333333e-05,
+      "loss": 1.9643,
+      "step": 358000
+    },
+    {
+      "epoch": 1.434,
+      "grad_norm": 4.019693374633789,
+      "learning_rate": 2.61e-05,
+      "loss": 1.9883,
+      "step": 358500
+    },
+    {
+      "epoch": 1.436,
+      "grad_norm": 2.8907523155212402,
+      "learning_rate": 2.6066666666666666e-05,
+      "loss": 1.9508,
+      "step": 359000
+    },
+    {
+      "epoch": 1.438,
+      "grad_norm": 3.7923696041107178,
+      "learning_rate": 2.6033333333333337e-05,
+      "loss": 1.9239,
+      "step": 359500
+    },
+    {
+      "epoch": 1.44,
+      "grad_norm": 3.8597493171691895,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 1.9362,
+      "step": 360000
+    },
+    {
+      "epoch": 1.442,
+      "grad_norm": 3.4547104835510254,
+      "learning_rate": 2.5966666666666667e-05,
+      "loss": 1.9351,
+      "step": 360500
+    },
+    {
+      "epoch": 1.444,
+      "grad_norm": 4.025310039520264,
+      "learning_rate": 2.5933333333333338e-05,
+      "loss": 1.9289,
+      "step": 361000
+    },
+    {
+      "epoch": 1.446,
+      "grad_norm": 4.879772663116455,
+      "learning_rate": 2.5900000000000003e-05,
+      "loss": 1.9901,
+      "step": 361500
+    },
+    {
+      "epoch": 1.448,
+      "grad_norm": 2.230199098587036,
+      "learning_rate": 2.5866666666666667e-05,
+      "loss": 1.9696,
+      "step": 362000
+    },
+    {
+      "epoch": 1.45,
+      "grad_norm": 2.6082305908203125,
+      "learning_rate": 2.5833333333333336e-05,
+      "loss": 1.9478,
+      "step": 362500
+    },
+    {
+      "epoch": 1.452,
+      "grad_norm": 3.0089962482452393,
+      "learning_rate": 2.58e-05,
+      "loss": 1.9212,
+      "step": 363000
+    },
+    {
+      "epoch": 1.454,
+      "grad_norm": 2.923159122467041,
+      "learning_rate": 2.5766666666666665e-05,
+      "loss": 1.9708,
+      "step": 363500
+    },
+    {
+      "epoch": 1.456,
+      "grad_norm": 3.1495614051818848,
+      "learning_rate": 2.5733333333333337e-05,
+      "loss": 1.9587,
+      "step": 364000
+    },
+    {
+      "epoch": 1.458,
+      "grad_norm": 3.246243476867676,
+      "learning_rate": 2.57e-05,
+      "loss": 1.9605,
+      "step": 364500
+    },
+    {
+      "epoch": 1.46,
+      "grad_norm": 3.223666191101074,
+      "learning_rate": 2.5666666666666666e-05,
+      "loss": 1.9245,
+      "step": 365000
+    },
+    {
+      "epoch": 1.462,
+      "grad_norm": 3.237511157989502,
+      "learning_rate": 2.5633333333333338e-05,
+      "loss": 1.9382,
+      "step": 365500
+    },
+    {
+      "epoch": 1.464,
+      "grad_norm": 3.490596055984497,
+      "learning_rate": 2.5600000000000002e-05,
+      "loss": 1.8842,
+      "step": 366000
+    },
+    {
+      "epoch": 1.466,
+      "grad_norm": 2.6978297233581543,
+      "learning_rate": 2.5566666666666667e-05,
+      "loss": 1.9508,
+      "step": 366500
+    },
+    {
+      "epoch": 1.468,
+      "grad_norm": 2.619743824005127,
+      "learning_rate": 2.553333333333334e-05,
+      "loss": 1.9715,
+      "step": 367000
+    },
+    {
+      "epoch": 1.47,
+      "grad_norm": 3.37778377532959,
+      "learning_rate": 2.5500000000000003e-05,
+      "loss": 1.929,
+      "step": 367500
+    },
+    {
+      "epoch": 1.472,
+      "grad_norm": 3.4646658897399902,
+      "learning_rate": 2.5466666666666668e-05,
+      "loss": 1.9261,
+      "step": 368000
+    },
+    {
+      "epoch": 1.474,
+      "grad_norm": 3.0174248218536377,
+      "learning_rate": 2.5433333333333336e-05,
+      "loss": 1.9276,
+      "step": 368500
+    },
+    {
+      "epoch": 1.476,
+      "grad_norm": 3.012357473373413,
+      "learning_rate": 2.54e-05,
+      "loss": 1.9175,
+      "step": 369000
+    },
+    {
+      "epoch": 1.478,
+      "grad_norm": 3.678093433380127,
+      "learning_rate": 2.5366666666666665e-05,
+      "loss": 1.9499,
+      "step": 369500
+    },
+    {
+      "epoch": 1.48,
+      "grad_norm": 5.938042640686035,
+      "learning_rate": 2.5333333333333337e-05,
+      "loss": 1.9167,
+      "step": 370000
+    },
+    {
+      "epoch": 1.482,
+      "grad_norm": 2.5942413806915283,
+      "learning_rate": 2.5300000000000002e-05,
+      "loss": 1.9544,
+      "step": 370500
+    },
+    {
+      "epoch": 1.484,
+      "grad_norm": 3.5059385299682617,
+      "learning_rate": 2.5266666666666666e-05,
+      "loss": 1.9381,
+      "step": 371000
+    },
+    {
+      "epoch": 1.486,
+      "grad_norm": 2.4190146923065186,
+      "learning_rate": 2.5233333333333338e-05,
+      "loss": 1.8837,
+      "step": 371500
+    },
+    {
+      "epoch": 1.488,
+      "grad_norm": 3.440899610519409,
+      "learning_rate": 2.5200000000000003e-05,
+      "loss": 1.9224,
+      "step": 372000
+    },
+    {
+      "epoch": 1.49,
+      "grad_norm": 2.267256736755371,
+      "learning_rate": 2.5166666666666667e-05,
+      "loss": 1.9666,
+      "step": 372500
+    },
+    {
+      "epoch": 1.492,
+      "grad_norm": 3.44594669342041,
+      "learning_rate": 2.5133333333333336e-05,
+      "loss": 1.9257,
+      "step": 373000
+    },
+    {
+      "epoch": 1.494,
+      "grad_norm": 3.7082021236419678,
+      "learning_rate": 2.51e-05,
+      "loss": 1.9857,
+      "step": 373500
+    },
+    {
+      "epoch": 1.496,
+      "grad_norm": 3.378018856048584,
+      "learning_rate": 2.5066666666666665e-05,
+      "loss": 1.9248,
+      "step": 374000
+    },
+    {
+      "epoch": 1.498,
+      "grad_norm": 3.2708401679992676,
+      "learning_rate": 2.5033333333333336e-05,
+      "loss": 1.9328,
+      "step": 374500
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 3.076033592224121,
+      "learning_rate": 2.5e-05,
+      "loss": 1.8765,
+      "step": 375000
+    },
+    {
+      "epoch": 1.502,
+      "grad_norm": 2.799485921859741,
+      "learning_rate": 2.496666666666667e-05,
+      "loss": 1.9374,
+      "step": 375500
+    },
+    {
+      "epoch": 1.504,
+      "grad_norm": 2.7775092124938965,
+      "learning_rate": 2.4933333333333334e-05,
+      "loss": 1.9935,
+      "step": 376000
+    },
+    {
+      "epoch": 1.506,
+      "grad_norm": 3.209745168685913,
+      "learning_rate": 2.4900000000000002e-05,
+      "loss": 1.9675,
+      "step": 376500
+    },
+    {
+      "epoch": 1.508,
+      "grad_norm": 2.625767230987549,
+      "learning_rate": 2.486666666666667e-05,
+      "loss": 1.9351,
+      "step": 377000
+    },
+    {
+      "epoch": 1.51,
+      "grad_norm": 2.3749732971191406,
+      "learning_rate": 2.4833333333333335e-05,
+      "loss": 1.9686,
+      "step": 377500
+    },
+    {
+      "epoch": 1.512,
+      "grad_norm": 3.2491095066070557,
+      "learning_rate": 2.48e-05,
+      "loss": 1.9175,
+      "step": 378000
+    },
+    {
+      "epoch": 1.514,
+      "grad_norm": 3.3169057369232178,
+      "learning_rate": 2.4766666666666668e-05,
+      "loss": 1.912,
+      "step": 378500
+    },
+    {
+      "epoch": 1.516,
+      "grad_norm": 2.665933847427368,
+      "learning_rate": 2.4733333333333333e-05,
+      "loss": 1.9495,
+      "step": 379000
+    },
+    {
+      "epoch": 1.518,
+      "grad_norm": 3.2926623821258545,
+      "learning_rate": 2.47e-05,
+      "loss": 1.9063,
+      "step": 379500
+    },
+    {
+      "epoch": 1.52,
+      "grad_norm": 4.455011367797852,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 1.9446,
+      "step": 380000
+    },
+    {
+      "epoch": 1.522,
+      "grad_norm": 3.1576755046844482,
+      "learning_rate": 2.4633333333333334e-05,
+      "loss": 1.9727,
+      "step": 380500
+    },
+    {
+      "epoch": 1.524,
+      "grad_norm": 2.488983392715454,
+      "learning_rate": 2.46e-05,
+      "loss": 1.9032,
+      "step": 381000
+    },
+    {
+      "epoch": 1.526,
+      "grad_norm": 3.984022378921509,
+      "learning_rate": 2.456666666666667e-05,
+      "loss": 1.96,
+      "step": 381500
+    },
+    {
+      "epoch": 1.528,
+      "grad_norm": 3.8776423931121826,
+      "learning_rate": 2.4533333333333334e-05,
+      "loss": 1.9868,
+      "step": 382000
+    },
+    {
+      "epoch": 1.53,
+      "grad_norm": 4.296087265014648,
+      "learning_rate": 2.45e-05,
+      "loss": 1.8783,
+      "step": 382500
+    },
+    {
+      "epoch": 1.532,
+      "grad_norm": 4.618283748626709,
+      "learning_rate": 2.4466666666666667e-05,
+      "loss": 1.949,
+      "step": 383000
+    },
+    {
+      "epoch": 1.534,
+      "grad_norm": 6.0405964851379395,
+      "learning_rate": 2.4433333333333335e-05,
+      "loss": 1.9301,
+      "step": 383500
+    },
+    {
+      "epoch": 1.536,
+      "grad_norm": 2.9348373413085938,
+      "learning_rate": 2.44e-05,
+      "loss": 1.9798,
+      "step": 384000
+    },
+    {
+      "epoch": 1.538,
+      "grad_norm": 3.9813971519470215,
+      "learning_rate": 2.4366666666666668e-05,
+      "loss": 1.9274,
+      "step": 384500
+    },
+    {
+      "epoch": 1.54,
+      "grad_norm": 2.8931353092193604,
+      "learning_rate": 2.4333333333333336e-05,
+      "loss": 1.948,
+      "step": 385000
+    },
+    {
+      "epoch": 1.542,
+      "grad_norm": 6.178744316101074,
+      "learning_rate": 2.43e-05,
+      "loss": 1.8994,
+      "step": 385500
+    },
+    {
+      "epoch": 1.544,
+      "grad_norm": 3.171900749206543,
+      "learning_rate": 2.426666666666667e-05,
+      "loss": 1.9392,
+      "step": 386000
+    },
+    {
+      "epoch": 1.546,
+      "grad_norm": 2.611449956893921,
+      "learning_rate": 2.4233333333333337e-05,
+      "loss": 1.9093,
+      "step": 386500
+    },
+    {
+      "epoch": 1.548,
+      "grad_norm": 3.3204538822174072,
+      "learning_rate": 2.4200000000000002e-05,
+      "loss": 1.9131,
+      "step": 387000
+    },
+    {
+      "epoch": 1.55,
+      "grad_norm": 5.410957336425781,
+      "learning_rate": 2.4166666666666667e-05,
+      "loss": 1.9213,
+      "step": 387500
+    },
+    {
+      "epoch": 1.552,
+      "grad_norm": 3.4421000480651855,
+      "learning_rate": 2.4133333333333335e-05,
+      "loss": 2.0055,
+      "step": 388000
+    },
+    {
+      "epoch": 1.554,
+      "grad_norm": 2.8660736083984375,
+      "learning_rate": 2.41e-05,
+      "loss": 1.9366,
+      "step": 388500
+    },
+    {
+      "epoch": 1.556,
+      "grad_norm": 1.9283561706542969,
+      "learning_rate": 2.4066666666666668e-05,
+      "loss": 1.9643,
+      "step": 389000
+    },
+    {
+      "epoch": 1.558,
+      "grad_norm": 3.334333658218384,
+      "learning_rate": 2.4033333333333336e-05,
+      "loss": 1.9114,
+      "step": 389500
+    },
+    {
+      "epoch": 1.56,
+      "grad_norm": 2.810943126678467,
+      "learning_rate": 2.4e-05,
+      "loss": 1.9396,
+      "step": 390000
+    },
+    {
+      "epoch": 1.562,
+      "grad_norm": 1.7711280584335327,
+      "learning_rate": 2.396666666666667e-05,
+      "loss": 1.9947,
+      "step": 390500
+    },
+    {
+      "epoch": 1.564,
+      "grad_norm": 2.992372751235962,
+      "learning_rate": 2.3933333333333337e-05,
+      "loss": 1.9469,
+      "step": 391000
+    },
+    {
+      "epoch": 1.5659999999999998,
+      "grad_norm": 4.435489177703857,
+      "learning_rate": 2.39e-05,
+      "loss": 1.9853,
+      "step": 391500
+    },
+    {
+      "epoch": 1.568,
+      "grad_norm": 3.219182252883911,
+      "learning_rate": 2.3866666666666666e-05,
+      "loss": 1.909,
+      "step": 392000
+    },
+    {
+      "epoch": 1.5699999999999998,
+      "grad_norm": 2.1483545303344727,
+      "learning_rate": 2.3833333333333334e-05,
+      "loss": 1.9778,
+      "step": 392500
+    },
+    {
+      "epoch": 1.572,
+      "grad_norm": 3.510859489440918,
+      "learning_rate": 2.38e-05,
+      "loss": 1.9053,
+      "step": 393000
+    },
+    {
+      "epoch": 1.5739999999999998,
+      "grad_norm": 5.1270222663879395,
+      "learning_rate": 2.3766666666666667e-05,
+      "loss": 1.9781,
+      "step": 393500
+    },
+    {
+      "epoch": 1.576,
+      "grad_norm": 2.5209779739379883,
+      "learning_rate": 2.3733333333333335e-05,
+      "loss": 1.9793,
+      "step": 394000
+    },
+    {
+      "epoch": 1.5779999999999998,
+      "grad_norm": 3.370201349258423,
+      "learning_rate": 2.37e-05,
+      "loss": 1.9202,
+      "step": 394500
+    },
+    {
+      "epoch": 1.58,
+      "grad_norm": 2.933300495147705,
+      "learning_rate": 2.3666666666666668e-05,
+      "loss": 1.9601,
+      "step": 395000
+    },
+    {
+      "epoch": 1.5819999999999999,
+      "grad_norm": 3.4246957302093506,
+      "learning_rate": 2.3633333333333336e-05,
+      "loss": 1.9644,
+      "step": 395500
+    },
+    {
+      "epoch": 1.584,
+      "grad_norm": 5.153846263885498,
+      "learning_rate": 2.36e-05,
+      "loss": 1.9268,
+      "step": 396000
+    },
+    {
+      "epoch": 1.5859999999999999,
+      "grad_norm": 3.2302634716033936,
+      "learning_rate": 2.3566666666666666e-05,
+      "loss": 1.8953,
+      "step": 396500
+    },
+    {
+      "epoch": 1.588,
+      "grad_norm": 2.646941661834717,
+      "learning_rate": 2.3533333333333334e-05,
+      "loss": 1.901,
+      "step": 397000
+    },
+    {
+      "epoch": 1.5899999999999999,
+      "grad_norm": 3.758988618850708,
+      "learning_rate": 2.35e-05,
+      "loss": 1.8888,
+      "step": 397500
+    },
+    {
+      "epoch": 1.592,
+      "grad_norm": 5.059525966644287,
+      "learning_rate": 2.3466666666666667e-05,
+      "loss": 1.9675,
+      "step": 398000
+    },
+    {
+      "epoch": 1.5939999999999999,
+      "grad_norm": 3.5756661891937256,
+      "learning_rate": 2.3433333333333335e-05,
+      "loss": 1.9416,
+      "step": 398500
+    },
+    {
+      "epoch": 1.596,
+      "grad_norm": 2.9694342613220215,
+      "learning_rate": 2.3400000000000003e-05,
+      "loss": 1.9383,
+      "step": 399000
+    },
+    {
+      "epoch": 1.5979999999999999,
+      "grad_norm": 2.9568989276885986,
+      "learning_rate": 2.3366666666666668e-05,
+      "loss": 1.9001,
+      "step": 399500
+    },
+    {
+      "epoch": 1.6,
+      "grad_norm": 3.1025218963623047,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 1.8966,
+      "step": 400000
+    },
+    {
+      "epoch": 1.6019999999999999,
+      "grad_norm": 3.721906900405884,
+      "learning_rate": 2.3300000000000004e-05,
+      "loss": 1.9514,
+      "step": 400500
+    },
+    {
+      "epoch": 1.604,
+      "grad_norm": 2.4749765396118164,
+      "learning_rate": 2.326666666666667e-05,
+      "loss": 1.9496,
+      "step": 401000
+    },
+    {
+      "epoch": 1.6059999999999999,
+      "grad_norm": 2.983774423599243,
+      "learning_rate": 2.3233333333333333e-05,
+      "loss": 1.9398,
+      "step": 401500
+    },
+    {
+      "epoch": 1.608,
+      "grad_norm": 4.208621978759766,
+      "learning_rate": 2.32e-05,
+      "loss": 1.9826,
+      "step": 402000
+    },
+    {
+      "epoch": 1.6099999999999999,
+      "grad_norm": 3.238241195678711,
+      "learning_rate": 2.3166666666666666e-05,
+      "loss": 1.9313,
+      "step": 402500
+    },
+    {
+      "epoch": 1.612,
+      "grad_norm": 3.130443811416626,
+      "learning_rate": 2.3133333333333334e-05,
+      "loss": 1.9445,
+      "step": 403000
+    },
+    {
+      "epoch": 1.6139999999999999,
+      "grad_norm": 4.063137531280518,
+      "learning_rate": 2.3100000000000002e-05,
+      "loss": 1.9255,
+      "step": 403500
+    },
+    {
+      "epoch": 1.616,
+      "grad_norm": 4.2964558601379395,
+      "learning_rate": 2.3066666666666667e-05,
+      "loss": 1.9336,
+      "step": 404000
+    },
+    {
+      "epoch": 1.6179999999999999,
+      "grad_norm": 2.6687209606170654,
+      "learning_rate": 2.3033333333333335e-05,
+      "loss": 1.9325,
+      "step": 404500
+    },
+    {
+      "epoch": 1.62,
+      "grad_norm": 4.380516052246094,
+      "learning_rate": 2.3000000000000003e-05,
+      "loss": 1.9764,
+      "step": 405000
+    },
+    {
+      "epoch": 1.6219999999999999,
+      "grad_norm": 5.203883647918701,
+      "learning_rate": 2.2966666666666668e-05,
+      "loss": 1.9431,
+      "step": 405500
+    },
+    {
+      "epoch": 1.624,
+      "grad_norm": 4.030825138092041,
+      "learning_rate": 2.2933333333333333e-05,
+      "loss": 1.9116,
+      "step": 406000
+    },
+    {
+      "epoch": 1.626,
+      "grad_norm": 4.258131504058838,
+      "learning_rate": 2.29e-05,
+      "loss": 1.9386,
+      "step": 406500
+    },
+    {
+      "epoch": 1.6280000000000001,
+      "grad_norm": 2.3082876205444336,
+      "learning_rate": 2.2866666666666666e-05,
+      "loss": 1.8925,
+      "step": 407000
+    },
+    {
+      "epoch": 1.63,
+      "grad_norm": 2.6121292114257812,
+      "learning_rate": 2.2833333333333334e-05,
+      "loss": 1.9199,
+      "step": 407500
+    },
+    {
+      "epoch": 1.6320000000000001,
+      "grad_norm": 3.0361194610595703,
+      "learning_rate": 2.2800000000000002e-05,
+      "loss": 1.9182,
+      "step": 408000
+    },
+    {
+      "epoch": 1.634,
+      "grad_norm": 3.141012668609619,
+      "learning_rate": 2.2766666666666667e-05,
+      "loss": 1.9183,
+      "step": 408500
+    },
+    {
+      "epoch": 1.6360000000000001,
+      "grad_norm": 2.518684148788452,
+      "learning_rate": 2.2733333333333335e-05,
+      "loss": 1.9084,
+      "step": 409000
+    },
+    {
+      "epoch": 1.638,
+      "grad_norm": 3.1415364742279053,
+      "learning_rate": 2.2700000000000003e-05,
+      "loss": 1.917,
+      "step": 409500
+    },
+    {
+      "epoch": 1.6400000000000001,
+      "grad_norm": 3.0325417518615723,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 1.9427,
+      "step": 410000
+    },
+    {
+      "epoch": 1.642,
+      "grad_norm": 5.173191547393799,
+      "learning_rate": 2.2633333333333336e-05,
+      "loss": 1.917,
+      "step": 410500
+    },
+    {
+      "epoch": 1.6440000000000001,
+      "grad_norm": 2.372633218765259,
+      "learning_rate": 2.26e-05,
+      "loss": 1.9792,
+      "step": 411000
+    },
+    {
+      "epoch": 1.646,
+      "grad_norm": 1.6606264114379883,
+      "learning_rate": 2.2566666666666665e-05,
+      "loss": 1.8753,
+      "step": 411500
+    },
+    {
+      "epoch": 1.6480000000000001,
+      "grad_norm": 2.6684279441833496,
+      "learning_rate": 2.2533333333333333e-05,
+      "loss": 1.9233,
+      "step": 412000
+    },
+    {
+      "epoch": 1.65,
+      "grad_norm": 3.7809250354766846,
+      "learning_rate": 2.25e-05,
+      "loss": 1.9915,
+      "step": 412500
+    },
+    {
+      "epoch": 1.6520000000000001,
+      "grad_norm": 2.4720022678375244,
+      "learning_rate": 2.2466666666666666e-05,
+      "loss": 1.9192,
+      "step": 413000
+    },
+    {
+      "epoch": 1.654,
+      "grad_norm": 3.4547295570373535,
+      "learning_rate": 2.2433333333333334e-05,
+      "loss": 1.9234,
+      "step": 413500
+    },
+    {
+      "epoch": 1.6560000000000001,
+      "grad_norm": 1.382089614868164,
+      "learning_rate": 2.2400000000000002e-05,
+      "loss": 1.9395,
+      "step": 414000
+    },
+    {
+      "epoch": 1.658,
+      "grad_norm": 2.934108257293701,
+      "learning_rate": 2.236666666666667e-05,
+      "loss": 1.9058,
+      "step": 414500
+    },
+    {
+      "epoch": 1.6600000000000001,
+      "grad_norm": 3.9861598014831543,
+      "learning_rate": 2.2333333333333335e-05,
+      "loss": 1.9716,
+      "step": 415000
+    },
+    {
+      "epoch": 1.662,
+      "grad_norm": 3.44126033782959,
+      "learning_rate": 2.23e-05,
+      "loss": 1.9689,
+      "step": 415500
+    },
+    {
+      "epoch": 1.6640000000000001,
+      "grad_norm": 3.3755643367767334,
+      "learning_rate": 2.2266666666666668e-05,
+      "loss": 1.9328,
+      "step": 416000
+    },
+    {
+      "epoch": 1.666,
+      "grad_norm": 2.6279067993164062,
+      "learning_rate": 2.2233333333333333e-05,
+      "loss": 1.9265,
+      "step": 416500
+    },
+    {
+      "epoch": 1.6680000000000001,
+      "grad_norm": 4.753332138061523,
+      "learning_rate": 2.22e-05,
+      "loss": 1.9296,
+      "step": 417000
+    },
+    {
+      "epoch": 1.67,
+      "grad_norm": 3.099449634552002,
+      "learning_rate": 2.216666666666667e-05,
+      "loss": 1.9148,
+      "step": 417500
+    },
+    {
+      "epoch": 1.6720000000000002,
+      "grad_norm": 3.0518150329589844,
+      "learning_rate": 2.2133333333333334e-05,
+      "loss": 1.8784,
+      "step": 418000
+    },
+    {
+      "epoch": 1.674,
+      "grad_norm": 3.0889222621917725,
+      "learning_rate": 2.2100000000000002e-05,
+      "loss": 1.9786,
+      "step": 418500
+    },
+    {
+      "epoch": 1.6760000000000002,
+      "grad_norm": 2.642021894454956,
+      "learning_rate": 2.206666666666667e-05,
+      "loss": 1.8791,
+      "step": 419000
+    },
+    {
+      "epoch": 1.678,
+      "grad_norm": 3.9760305881500244,
+      "learning_rate": 2.2033333333333335e-05,
+      "loss": 1.9599,
+      "step": 419500
+    },
+    {
+      "epoch": 1.6800000000000002,
+      "grad_norm": 3.1071484088897705,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 1.9407,
+      "step": 420000
+    },
+    {
+      "epoch": 1.682,
+      "grad_norm": 3.741133689880371,
+      "learning_rate": 2.1966666666666668e-05,
+      "loss": 1.9729,
+      "step": 420500
+    },
+    {
+      "epoch": 1.6840000000000002,
+      "grad_norm": 3.7305397987365723,
+      "learning_rate": 2.1933333333333332e-05,
+      "loss": 1.9332,
+      "step": 421000
+    },
+    {
+      "epoch": 1.686,
+      "grad_norm": 3.7074167728424072,
+      "learning_rate": 2.19e-05,
+      "loss": 1.9677,
+      "step": 421500
+    },
+    {
+      "epoch": 1.688,
+      "grad_norm": 2.668675661087036,
+      "learning_rate": 2.186666666666667e-05,
+      "loss": 1.9697,
+      "step": 422000
+    },
+    {
+      "epoch": 1.69,
+      "grad_norm": 3.2775230407714844,
+      "learning_rate": 2.1833333333333333e-05,
+      "loss": 1.8848,
+      "step": 422500
+    },
+    {
+      "epoch": 1.692,
+      "grad_norm": 2.878530979156494,
+      "learning_rate": 2.18e-05,
+      "loss": 1.9991,
+      "step": 423000
+    },
+    {
+      "epoch": 1.694,
+      "grad_norm": 4.312577247619629,
+      "learning_rate": 2.176666666666667e-05,
+      "loss": 1.9181,
+      "step": 423500
+    },
+    {
+      "epoch": 1.696,
+      "grad_norm": 2.9347195625305176,
+      "learning_rate": 2.1733333333333334e-05,
+      "loss": 1.8913,
+      "step": 424000
+    },
+    {
+      "epoch": 1.698,
+      "grad_norm": 2.45108699798584,
+      "learning_rate": 2.1700000000000002e-05,
+      "loss": 1.9078,
+      "step": 424500
+    },
+    {
+      "epoch": 1.7,
+      "grad_norm": 5.436616897583008,
+      "learning_rate": 2.1666666666666667e-05,
+      "loss": 1.9352,
+      "step": 425000
+    },
+    {
+      "epoch": 1.702,
+      "grad_norm": 2.882488250732422,
+      "learning_rate": 2.1633333333333332e-05,
+      "loss": 1.9747,
+      "step": 425500
+    },
+    {
+      "epoch": 1.704,
+      "grad_norm": 3.8497514724731445,
+      "learning_rate": 2.16e-05,
+      "loss": 1.9085,
+      "step": 426000
+    },
+    {
+      "epoch": 1.706,
+      "grad_norm": 2.8580403327941895,
+      "learning_rate": 2.1566666666666668e-05,
+      "loss": 1.9231,
+      "step": 426500
+    },
+    {
+      "epoch": 1.708,
+      "grad_norm": 3.8605587482452393,
+      "learning_rate": 2.1533333333333333e-05,
+      "loss": 1.9148,
+      "step": 427000
+    },
+    {
+      "epoch": 1.71,
+      "grad_norm": 2.743581533432007,
+      "learning_rate": 2.15e-05,
+      "loss": 1.9138,
+      "step": 427500
+    },
+    {
+      "epoch": 1.712,
+      "grad_norm": 3.476142406463623,
+      "learning_rate": 2.146666666666667e-05,
+      "loss": 1.8806,
+      "step": 428000
+    },
+    {
+      "epoch": 1.714,
+      "grad_norm": 3.239506483078003,
+      "learning_rate": 2.1433333333333334e-05,
+      "loss": 1.9722,
+      "step": 428500
+    },
+    {
+      "epoch": 1.716,
+      "grad_norm": 3.1536738872528076,
+      "learning_rate": 2.1400000000000002e-05,
+      "loss": 1.9762,
+      "step": 429000
+    },
+    {
+      "epoch": 1.718,
+      "grad_norm": 3.4705638885498047,
+      "learning_rate": 2.1366666666666667e-05,
+      "loss": 1.908,
+      "step": 429500
+    },
+    {
+      "epoch": 1.72,
+      "grad_norm": 3.0438194274902344,
+      "learning_rate": 2.1333333333333335e-05,
+      "loss": 1.9374,
+      "step": 430000
+    },
+    {
+      "epoch": 1.722,
+      "grad_norm": 2.8619210720062256,
+      "learning_rate": 2.13e-05,
+      "loss": 1.9054,
+      "step": 430500
+    },
+    {
+      "epoch": 1.724,
+      "grad_norm": 3.936366319656372,
+      "learning_rate": 2.1266666666666667e-05,
+      "loss": 1.9911,
+      "step": 431000
+    },
+    {
+      "epoch": 1.726,
+      "grad_norm": 3.868184804916382,
+      "learning_rate": 2.1233333333333336e-05,
+      "loss": 1.9126,
+      "step": 431500
+    },
+    {
+      "epoch": 1.728,
+      "grad_norm": 3.1653971672058105,
+      "learning_rate": 2.12e-05,
+      "loss": 1.9632,
+      "step": 432000
+    },
+    {
+      "epoch": 1.73,
+      "grad_norm": 4.440386772155762,
+      "learning_rate": 2.116666666666667e-05,
+      "loss": 1.8954,
+      "step": 432500
+    },
+    {
+      "epoch": 1.732,
+      "grad_norm": 3.320260524749756,
+      "learning_rate": 2.1133333333333337e-05,
+      "loss": 1.9161,
+      "step": 433000
+    },
+    {
+      "epoch": 1.734,
+      "grad_norm": 3.6116676330566406,
+      "learning_rate": 2.11e-05,
+      "loss": 1.9107,
+      "step": 433500
+    },
+    {
+      "epoch": 1.736,
+      "grad_norm": 2.696512460708618,
+      "learning_rate": 2.106666666666667e-05,
+      "loss": 1.9168,
+      "step": 434000
+    },
+    {
+      "epoch": 1.738,
+      "grad_norm": 2.7827653884887695,
+      "learning_rate": 2.1033333333333334e-05,
+      "loss": 1.8904,
+      "step": 434500
+    },
+    {
+      "epoch": 1.74,
+      "grad_norm": 2.947371006011963,
+      "learning_rate": 2.1e-05,
+      "loss": 1.9016,
+      "step": 435000
+    },
+    {
+      "epoch": 1.742,
+      "grad_norm": 4.626327037811279,
+      "learning_rate": 2.0966666666666667e-05,
+      "loss": 1.9066,
+      "step": 435500
+    },
+    {
+      "epoch": 1.744,
+      "grad_norm": 3.5825893878936768,
+      "learning_rate": 2.0933333333333335e-05,
+      "loss": 1.9514,
+      "step": 436000
+    },
+    {
+      "epoch": 1.746,
+      "grad_norm": 4.205458641052246,
+      "learning_rate": 2.09e-05,
+      "loss": 1.9369,
+      "step": 436500
+    },
+    {
+      "epoch": 1.748,
+      "grad_norm": 3.084803819656372,
+      "learning_rate": 2.0866666666666668e-05,
+      "loss": 1.9283,
+      "step": 437000
+    },
+    {
+      "epoch": 1.75,
+      "grad_norm": 3.3208982944488525,
+      "learning_rate": 2.0833333333333336e-05,
+      "loss": 1.9233,
+      "step": 437500
+    },
+    {
+      "epoch": 1.752,
+      "grad_norm": 3.270139694213867,
+      "learning_rate": 2.08e-05,
+      "loss": 1.939,
+      "step": 438000
+    },
+    {
+      "epoch": 1.754,
+      "grad_norm": 4.778740406036377,
+      "learning_rate": 2.076666666666667e-05,
+      "loss": 1.9674,
+      "step": 438500
+    },
+    {
+      "epoch": 1.756,
+      "grad_norm": 5.207311630249023,
+      "learning_rate": 2.0733333333333334e-05,
+      "loss": 1.9133,
+      "step": 439000
+    },
+    {
+      "epoch": 1.758,
+      "grad_norm": 2.929720401763916,
+      "learning_rate": 2.07e-05,
+      "loss": 1.9142,
+      "step": 439500
+    },
+    {
+      "epoch": 1.76,
+      "grad_norm": 3.3526523113250732,
+      "learning_rate": 2.0666666666666666e-05,
+      "loss": 1.934,
+      "step": 440000
+    },
+    {
+      "epoch": 1.762,
+      "grad_norm": 3.6016769409179688,
+      "learning_rate": 2.0633333333333335e-05,
+      "loss": 1.9077,
+      "step": 440500
+    },
+    {
+      "epoch": 1.764,
+      "grad_norm": 3.197774648666382,
+      "learning_rate": 2.06e-05,
+      "loss": 1.8532,
+      "step": 441000
+    },
+    {
+      "epoch": 1.766,
+      "grad_norm": 3.8975322246551514,
+      "learning_rate": 2.0566666666666667e-05,
+      "loss": 1.9767,
+      "step": 441500
+    },
+    {
+      "epoch": 1.768,
+      "grad_norm": 3.488940477371216,
+      "learning_rate": 2.0533333333333336e-05,
+      "loss": 1.8531,
+      "step": 442000
+    },
+    {
+      "epoch": 1.77,
+      "grad_norm": 4.04154109954834,
+      "learning_rate": 2.05e-05,
+      "loss": 1.9166,
+      "step": 442500
+    },
+    {
+      "epoch": 1.772,
+      "grad_norm": 3.363910436630249,
+      "learning_rate": 2.046666666666667e-05,
+      "loss": 1.8636,
+      "step": 443000
+    },
+    {
+      "epoch": 1.774,
+      "grad_norm": 3.8854823112487793,
+      "learning_rate": 2.0433333333333336e-05,
+      "loss": 1.8861,
+      "step": 443500
+    },
+    {
+      "epoch": 1.776,
+      "grad_norm": 5.251601696014404,
+      "learning_rate": 2.04e-05,
+      "loss": 1.8962,
+      "step": 444000
+    },
+    {
+      "epoch": 1.778,
+      "grad_norm": 5.260472774505615,
+      "learning_rate": 2.0366666666666666e-05,
+      "loss": 1.9711,
+      "step": 444500
+    },
+    {
+      "epoch": 1.78,
+      "grad_norm": 5.123081684112549,
+      "learning_rate": 2.0333333333333334e-05,
+      "loss": 1.9124,
+      "step": 445000
+    },
+    {
+      "epoch": 1.782,
+      "grad_norm": 1.2691650390625,
+      "learning_rate": 2.0300000000000002e-05,
+      "loss": 1.9353,
+      "step": 445500
+    },
+    {
+      "epoch": 1.784,
+      "grad_norm": 4.626059532165527,
+      "learning_rate": 2.0266666666666667e-05,
+      "loss": 1.9753,
+      "step": 446000
+    },
+    {
+      "epoch": 1.786,
+      "grad_norm": 3.9657695293426514,
+      "learning_rate": 2.0233333333333335e-05,
+      "loss": 1.9422,
+      "step": 446500
+    },
+    {
+      "epoch": 1.788,
+      "grad_norm": 3.382976770401001,
+      "learning_rate": 2.0200000000000003e-05,
+      "loss": 1.9348,
+      "step": 447000
+    },
+    {
+      "epoch": 1.79,
+      "grad_norm": 3.3544819355010986,
+      "learning_rate": 2.0166666666666668e-05,
+      "loss": 1.9643,
+      "step": 447500
+    },
+    {
+      "epoch": 1.792,
+      "grad_norm": 2.7417047023773193,
+      "learning_rate": 2.0133333333333336e-05,
+      "loss": 1.9228,
+      "step": 448000
+    },
+    {
+      "epoch": 1.794,
+      "grad_norm": 4.532870292663574,
+      "learning_rate": 2.01e-05,
+      "loss": 1.9616,
+      "step": 448500
+    },
+    {
+      "epoch": 1.796,
+      "grad_norm": 2.7241365909576416,
+      "learning_rate": 2.0066666666666665e-05,
+      "loss": 1.9295,
+      "step": 449000
+    },
+    {
+      "epoch": 1.798,
+      "grad_norm": 3.696352958679199,
+      "learning_rate": 2.0033333333333334e-05,
+      "loss": 1.9934,
+      "step": 449500
+    },
+    {
+      "epoch": 1.8,
+      "grad_norm": 3.4224777221679688,
+      "learning_rate": 2e-05,
+      "loss": 1.9546,
+      "step": 450000
+    },
+    {
+      "epoch": 1.802,
+      "grad_norm": 4.845315456390381,
+      "learning_rate": 1.9966666666666666e-05,
+      "loss": 1.9355,
+      "step": 450500
+    },
+    {
+      "epoch": 1.804,
+      "grad_norm": 4.044910907745361,
+      "learning_rate": 1.9933333333333334e-05,
+      "loss": 1.9407,
+      "step": 451000
+    },
+    {
+      "epoch": 1.806,
+      "grad_norm": 2.890526056289673,
+      "learning_rate": 1.9900000000000003e-05,
+      "loss": 1.944,
+      "step": 451500
+    },
+    {
+      "epoch": 1.808,
+      "grad_norm": 3.2103819847106934,
+      "learning_rate": 1.9866666666666667e-05,
+      "loss": 1.9371,
+      "step": 452000
+    },
+    {
+      "epoch": 1.81,
+      "grad_norm": 1.7022625207901,
+      "learning_rate": 1.9833333333333335e-05,
+      "loss": 1.9236,
+      "step": 452500
+    },
+    {
+      "epoch": 1.812,
+      "grad_norm": 4.029776096343994,
+      "learning_rate": 1.9800000000000004e-05,
+      "loss": 1.9205,
+      "step": 453000
+    },
+    {
+      "epoch": 1.814,
+      "grad_norm": 3.312782049179077,
+      "learning_rate": 1.9766666666666668e-05,
+      "loss": 1.9365,
+      "step": 453500
+    },
+    {
+      "epoch": 1.8159999999999998,
+      "grad_norm": 3.0180747509002686,
+      "learning_rate": 1.9733333333333333e-05,
+      "loss": 1.9685,
+      "step": 454000
+    },
+    {
+      "epoch": 1.818,
+      "grad_norm": 2.507460355758667,
+      "learning_rate": 1.97e-05,
+      "loss": 1.9416,
+      "step": 454500
+    },
+    {
+      "epoch": 1.8199999999999998,
+      "grad_norm": 3.9633641242980957,
+      "learning_rate": 1.9666666666666666e-05,
+      "loss": 1.9297,
+      "step": 455000
+    },
+    {
+      "epoch": 1.822,
+      "grad_norm": 3.120065927505493,
+      "learning_rate": 1.9633333333333334e-05,
+      "loss": 1.9313,
+      "step": 455500
+    },
+    {
+      "epoch": 1.8239999999999998,
+      "grad_norm": 2.927708864212036,
+      "learning_rate": 1.9600000000000002e-05,
+      "loss": 1.9414,
+      "step": 456000
+    },
+    {
+      "epoch": 1.826,
+      "grad_norm": 4.327637195587158,
+      "learning_rate": 1.9566666666666667e-05,
+      "loss": 1.9294,
+      "step": 456500
+    },
+    {
+      "epoch": 1.8279999999999998,
+      "grad_norm": 2.902700662612915,
+      "learning_rate": 1.9533333333333335e-05,
+      "loss": 1.9924,
+      "step": 457000
+    },
+    {
+      "epoch": 1.83,
+      "grad_norm": 3.670992136001587,
+      "learning_rate": 1.9500000000000003e-05,
+      "loss": 1.9314,
+      "step": 457500
+    },
+    {
+      "epoch": 1.8319999999999999,
+      "grad_norm": 2.3672289848327637,
+      "learning_rate": 1.9466666666666668e-05,
+      "loss": 1.9235,
+      "step": 458000
+    },
+    {
+      "epoch": 1.834,
+      "grad_norm": 4.721717357635498,
+      "learning_rate": 1.9433333333333332e-05,
+      "loss": 1.8869,
+      "step": 458500
+    },
+    {
+      "epoch": 1.8359999999999999,
+      "grad_norm": 3.915574073791504,
+      "learning_rate": 1.94e-05,
+      "loss": 1.9474,
+      "step": 459000
+    },
+    {
+      "epoch": 1.838,
+      "grad_norm": 3.4359326362609863,
+      "learning_rate": 1.9366666666666665e-05,
+      "loss": 1.9029,
+      "step": 459500
+    },
+    {
+      "epoch": 1.8399999999999999,
+      "grad_norm": 3.5459322929382324,
+      "learning_rate": 1.9333333333333333e-05,
+      "loss": 1.9173,
+      "step": 460000
+    },
+    {
+      "epoch": 1.842,
+      "grad_norm": 3.6038920879364014,
+      "learning_rate": 1.93e-05,
+      "loss": 1.9139,
+      "step": 460500
+    },
+    {
+      "epoch": 1.8439999999999999,
+      "grad_norm": 4.2726898193359375,
+      "learning_rate": 1.926666666666667e-05,
+      "loss": 1.8639,
+      "step": 461000
+    },
+    {
+      "epoch": 1.846,
+      "grad_norm": 2.9363956451416016,
+      "learning_rate": 1.9233333333333334e-05,
+      "loss": 1.9039,
+      "step": 461500
+    },
+    {
+      "epoch": 1.8479999999999999,
+      "grad_norm": 3.254714250564575,
+      "learning_rate": 1.9200000000000003e-05,
+      "loss": 1.9238,
+      "step": 462000
+    },
+    {
+      "epoch": 1.85,
+      "grad_norm": 5.399760723114014,
+      "learning_rate": 1.9166666666666667e-05,
+      "loss": 1.8977,
+      "step": 462500
+    },
+    {
+      "epoch": 1.8519999999999999,
+      "grad_norm": 4.284369468688965,
+      "learning_rate": 1.9133333333333332e-05,
+      "loss": 1.8972,
+      "step": 463000
+    },
+    {
+      "epoch": 1.854,
+      "grad_norm": 3.318804979324341,
+      "learning_rate": 1.91e-05,
+      "loss": 1.8872,
+      "step": 463500
+    },
+    {
+      "epoch": 1.8559999999999999,
+      "grad_norm": 2.4969356060028076,
+      "learning_rate": 1.9066666666666668e-05,
+      "loss": 1.876,
+      "step": 464000
+    },
+    {
+      "epoch": 1.858,
+      "grad_norm": 4.2779998779296875,
+      "learning_rate": 1.9033333333333333e-05,
+      "loss": 1.8645,
+      "step": 464500
+    },
+    {
+      "epoch": 1.8599999999999999,
+      "grad_norm": 3.9311721324920654,
+      "learning_rate": 1.9e-05,
+      "loss": 1.955,
+      "step": 465000
+    },
+    {
+      "epoch": 1.862,
+      "grad_norm": 5.360598564147949,
+      "learning_rate": 1.896666666666667e-05,
+      "loss": 1.9189,
+      "step": 465500
+    },
+    {
+      "epoch": 1.8639999999999999,
+      "grad_norm": 4.165648937225342,
+      "learning_rate": 1.8933333333333334e-05,
+      "loss": 1.9643,
+      "step": 466000
+    },
+    {
+      "epoch": 1.866,
+      "grad_norm": 3.3789327144622803,
+      "learning_rate": 1.8900000000000002e-05,
+      "loss": 1.9457,
+      "step": 466500
+    },
+    {
+      "epoch": 1.8679999999999999,
+      "grad_norm": 2.632772922515869,
+      "learning_rate": 1.886666666666667e-05,
+      "loss": 1.9538,
+      "step": 467000
+    },
+    {
+      "epoch": 1.87,
+      "grad_norm": 2.74198842048645,
+      "learning_rate": 1.8833333333333335e-05,
+      "loss": 1.9059,
+      "step": 467500
+    },
+    {
+      "epoch": 1.8719999999999999,
+      "grad_norm": 3.201322555541992,
+      "learning_rate": 1.88e-05,
+      "loss": 1.9677,
+      "step": 468000
+    },
+    {
+      "epoch": 1.874,
+      "grad_norm": 3.470842123031616,
+      "learning_rate": 1.8766666666666668e-05,
+      "loss": 1.8851,
+      "step": 468500
+    },
+    {
+      "epoch": 1.876,
+      "grad_norm": 2.5852577686309814,
+      "learning_rate": 1.8733333333333332e-05,
+      "loss": 1.9228,
+      "step": 469000
+    },
+    {
+      "epoch": 1.8780000000000001,
+      "grad_norm": 4.127476692199707,
+      "learning_rate": 1.87e-05,
+      "loss": 1.9099,
+      "step": 469500
+    },
+    {
+      "epoch": 1.88,
+      "grad_norm": 3.2494888305664062,
+      "learning_rate": 1.866666666666667e-05,
+      "loss": 1.9128,
+      "step": 470000
+    },
+    {
+      "epoch": 1.8820000000000001,
+      "grad_norm": 3.6338748931884766,
+      "learning_rate": 1.8633333333333333e-05,
+      "loss": 1.8728,
+      "step": 470500
+    },
+    {
+      "epoch": 1.884,
+      "grad_norm": 3.7255539894104004,
+      "learning_rate": 1.86e-05,
+      "loss": 1.9554,
+      "step": 471000
+    },
+    {
+      "epoch": 1.8860000000000001,
+      "grad_norm": 3.644660234451294,
+      "learning_rate": 1.856666666666667e-05,
+      "loss": 1.9264,
+      "step": 471500
+    },
+    {
+      "epoch": 1.888,
+      "grad_norm": 2.7023730278015137,
+      "learning_rate": 1.8533333333333334e-05,
+      "loss": 1.8853,
+      "step": 472000
+    },
+    {
+      "epoch": 1.8900000000000001,
+      "grad_norm": 2.7731287479400635,
+      "learning_rate": 1.85e-05,
+      "loss": 1.9345,
+      "step": 472500
+    },
+    {
+      "epoch": 1.892,
+      "grad_norm": 3.208306074142456,
+      "learning_rate": 1.8466666666666667e-05,
+      "loss": 1.9623,
+      "step": 473000
+    },
+    {
+      "epoch": 1.8940000000000001,
+      "grad_norm": 3.389620780944824,
+      "learning_rate": 1.8433333333333332e-05,
+      "loss": 1.958,
+      "step": 473500
+    },
+    {
+      "epoch": 1.896,
+      "grad_norm": 4.9747724533081055,
+      "learning_rate": 1.84e-05,
+      "loss": 1.9203,
+      "step": 474000
+    },
+    {
+      "epoch": 1.8980000000000001,
+      "grad_norm": 3.4500491619110107,
+      "learning_rate": 1.8366666666666668e-05,
+      "loss": 1.8884,
+      "step": 474500
+    },
+    {
+      "epoch": 1.9,
+      "grad_norm": 3.523895502090454,
+      "learning_rate": 1.8333333333333333e-05,
+      "loss": 1.9645,
+      "step": 475000
+    },
+    {
+      "epoch": 1.9020000000000001,
+      "grad_norm": 3.284940242767334,
+      "learning_rate": 1.83e-05,
+      "loss": 1.9552,
+      "step": 475500
+    },
+    {
+      "epoch": 1.904,
+      "grad_norm": 3.399803400039673,
+      "learning_rate": 1.826666666666667e-05,
+      "loss": 1.9005,
+      "step": 476000
+    },
+    {
+      "epoch": 1.9060000000000001,
+      "grad_norm": 4.672763347625732,
+      "learning_rate": 1.8233333333333334e-05,
+      "loss": 1.8722,
+      "step": 476500
+    },
+    {
+      "epoch": 1.908,
+      "grad_norm": 2.5503244400024414,
+      "learning_rate": 1.8200000000000002e-05,
+      "loss": 1.9488,
+      "step": 477000
+    },
+    {
+      "epoch": 1.9100000000000001,
+      "grad_norm": 3.6954541206359863,
+      "learning_rate": 1.8166666666666667e-05,
+      "loss": 1.9132,
+      "step": 477500
+    },
+    {
+      "epoch": 1.912,
+      "grad_norm": 3.0261995792388916,
+      "learning_rate": 1.8133333333333335e-05,
+      "loss": 1.9014,
+      "step": 478000
+    },
+    {
+      "epoch": 1.9140000000000001,
+      "grad_norm": 2.897448778152466,
+      "learning_rate": 1.81e-05,
+      "loss": 1.9485,
+      "step": 478500
+    },
+    {
+      "epoch": 1.916,
+      "grad_norm": 4.201462268829346,
+      "learning_rate": 1.8066666666666668e-05,
+      "loss": 1.9614,
+      "step": 479000
+    },
+    {
+      "epoch": 1.9180000000000001,
+      "grad_norm": 2.8987390995025635,
+      "learning_rate": 1.8033333333333336e-05,
+      "loss": 1.858,
+      "step": 479500
+    },
+    {
+      "epoch": 1.92,
+      "grad_norm": 2.299197196960449,
+      "learning_rate": 1.8e-05,
+      "loss": 1.9101,
+      "step": 480000
+    },
+    {
+      "epoch": 1.9220000000000002,
+      "grad_norm": 3.8119993209838867,
+      "learning_rate": 1.796666666666667e-05,
+      "loss": 1.9533,
+      "step": 480500
+    },
+    {
+      "epoch": 1.924,
+      "grad_norm": 3.0587425231933594,
+      "learning_rate": 1.7933333333333337e-05,
+      "loss": 1.9387,
+      "step": 481000
+    },
+    {
+      "epoch": 1.9260000000000002,
+      "grad_norm": 2.6371004581451416,
+      "learning_rate": 1.79e-05,
+      "loss": 1.9034,
+      "step": 481500
+    },
+    {
+      "epoch": 1.928,
+      "grad_norm": 2.8021397590637207,
+      "learning_rate": 1.7866666666666666e-05,
+      "loss": 1.9347,
+      "step": 482000
+    },
+    {
+      "epoch": 1.9300000000000002,
+      "grad_norm": 5.199395656585693,
+      "learning_rate": 1.7833333333333334e-05,
+      "loss": 1.8959,
+      "step": 482500
+    },
+    {
+      "epoch": 1.932,
+      "grad_norm": 4.500895977020264,
+      "learning_rate": 1.78e-05,
+      "loss": 1.9165,
+      "step": 483000
+    },
+    {
+      "epoch": 1.9340000000000002,
+      "grad_norm": 4.193163871765137,
+      "learning_rate": 1.7766666666666667e-05,
+      "loss": 1.9305,
+      "step": 483500
+    },
+    {
+      "epoch": 1.936,
+      "grad_norm": 4.5656585693359375,
+      "learning_rate": 1.7733333333333335e-05,
+      "loss": 1.9732,
+      "step": 484000
+    },
+    {
+      "epoch": 1.938,
+      "grad_norm": 4.961602210998535,
+      "learning_rate": 1.77e-05,
+      "loss": 1.9507,
+      "step": 484500
+    },
+    {
+      "epoch": 1.94,
+      "grad_norm": 2.8561315536499023,
+      "learning_rate": 1.7666666666666668e-05,
+      "loss": 1.8744,
+      "step": 485000
+    },
+    {
+      "epoch": 1.942,
+      "grad_norm": 3.1731960773468018,
+      "learning_rate": 1.7633333333333336e-05,
+      "loss": 1.9143,
+      "step": 485500
+    },
+    {
+      "epoch": 1.944,
+      "grad_norm": 2.702399969100952,
+      "learning_rate": 1.76e-05,
+      "loss": 1.9142,
+      "step": 486000
+    },
+    {
+      "epoch": 1.946,
+      "grad_norm": 2.8238747119903564,
+      "learning_rate": 1.756666666666667e-05,
+      "loss": 1.9085,
+      "step": 486500
+    },
+    {
+      "epoch": 1.948,
+      "grad_norm": 3.7742156982421875,
+      "learning_rate": 1.7533333333333334e-05,
+      "loss": 1.961,
+      "step": 487000
+    },
+    {
+      "epoch": 1.95,
+      "grad_norm": 3.195427179336548,
+      "learning_rate": 1.75e-05,
+      "loss": 1.8293,
+      "step": 487500
+    },
+    {
+      "epoch": 1.952,
+      "grad_norm": 2.2018630504608154,
+      "learning_rate": 1.7466666666666667e-05,
+      "loss": 1.9127,
+      "step": 488000
+    },
+    {
+      "epoch": 1.954,
+      "grad_norm": 4.2638092041015625,
+      "learning_rate": 1.7433333333333335e-05,
+      "loss": 1.8868,
+      "step": 488500
+    },
+    {
+      "epoch": 1.956,
+      "grad_norm": 3.522920608520508,
+      "learning_rate": 1.74e-05,
+      "loss": 1.8576,
+      "step": 489000
+    },
+    {
+      "epoch": 1.958,
+      "grad_norm": 3.4361538887023926,
+      "learning_rate": 1.7366666666666668e-05,
+      "loss": 1.9602,
+      "step": 489500
+    },
+    {
+      "epoch": 1.96,
+      "grad_norm": 2.6690571308135986,
+      "learning_rate": 1.7333333333333336e-05,
+      "loss": 1.9257,
+      "step": 490000
+    },
+    {
+      "epoch": 1.962,
+      "grad_norm": 3.4189460277557373,
+      "learning_rate": 1.73e-05,
+      "loss": 1.9053,
+      "step": 490500
+    },
+    {
+      "epoch": 1.964,
+      "grad_norm": 3.2636494636535645,
+      "learning_rate": 1.726666666666667e-05,
+      "loss": 1.9066,
+      "step": 491000
+    },
+    {
+      "epoch": 1.966,
+      "grad_norm": 2.9824066162109375,
+      "learning_rate": 1.7233333333333333e-05,
+      "loss": 1.9618,
+      "step": 491500
+    },
+    {
+      "epoch": 1.968,
+      "grad_norm": 3.5257973670959473,
+      "learning_rate": 1.7199999999999998e-05,
+      "loss": 1.8851,
+      "step": 492000
+    },
+    {
+      "epoch": 1.97,
+      "grad_norm": 1.9112154245376587,
+      "learning_rate": 1.7166666666666666e-05,
+      "loss": 1.9247,
+      "step": 492500
+    },
+    {
+      "epoch": 1.972,
+      "grad_norm": 3.0634167194366455,
+      "learning_rate": 1.7133333333333334e-05,
+      "loss": 1.9762,
+      "step": 493000
+    },
+    {
+      "epoch": 1.974,
+      "grad_norm": 2.112546920776367,
+      "learning_rate": 1.7100000000000002e-05,
+      "loss": 1.9128,
+      "step": 493500
+    },
+    {
+      "epoch": 1.976,
+      "grad_norm": 2.6833152770996094,
+      "learning_rate": 1.7066666666666667e-05,
+      "loss": 1.9312,
+      "step": 494000
+    },
+    {
+      "epoch": 1.978,
+      "grad_norm": 3.0724921226501465,
+      "learning_rate": 1.7033333333333335e-05,
+      "loss": 1.9515,
+      "step": 494500
+    },
+    {
+      "epoch": 1.98,
+      "grad_norm": 2.273602247238159,
+      "learning_rate": 1.7000000000000003e-05,
+      "loss": 1.9258,
+      "step": 495000
+    },
+    {
+      "epoch": 1.982,
+      "grad_norm": 2.6353919506073,
+      "learning_rate": 1.6966666666666668e-05,
+      "loss": 1.9377,
+      "step": 495500
+    },
+    {
+      "epoch": 1.984,
+      "grad_norm": 2.9519219398498535,
+      "learning_rate": 1.6933333333333333e-05,
+      "loss": 1.9656,
+      "step": 496000
+    },
+    {
+      "epoch": 1.986,
+      "grad_norm": 3.816542387008667,
+      "learning_rate": 1.69e-05,
+      "loss": 1.8408,
+      "step": 496500
+    },
+    {
+      "epoch": 1.988,
+      "grad_norm": 3.413533926010132,
+      "learning_rate": 1.6866666666666666e-05,
+      "loss": 1.9059,
+      "step": 497000
+    },
+    {
+      "epoch": 1.99,
+      "grad_norm": 4.297741413116455,
+      "learning_rate": 1.6833333333333334e-05,
+      "loss": 1.8856,
+      "step": 497500
+    },
+    {
+      "epoch": 1.992,
+      "grad_norm": 2.428008556365967,
+      "learning_rate": 1.6800000000000002e-05,
+      "loss": 1.8678,
+      "step": 498000
+    },
+    {
+      "epoch": 1.994,
+      "grad_norm": 3.6683671474456787,
+      "learning_rate": 1.6766666666666667e-05,
+      "loss": 1.938,
+      "step": 498500
+    },
+    {
+      "epoch": 1.996,
+      "grad_norm": 3.5515244007110596,
+      "learning_rate": 1.6733333333333335e-05,
+      "loss": 1.9577,
+      "step": 499000
+    },
+    {
+      "epoch": 1.998,
+      "grad_norm": 2.1118688583374023,
+      "learning_rate": 1.6700000000000003e-05,
+      "loss": 1.91,
+      "step": 499500
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 4.061803817749023,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 1.9263,
+      "step": 500000
+    },
+    {
+      "epoch": 2.002,
+      "grad_norm": 7.516952037811279,
+      "learning_rate": 1.6633333333333336e-05,
+      "loss": 1.8706,
+      "step": 500500
+    },
+    {
+      "epoch": 2.004,
+      "grad_norm": 1.99518883228302,
+      "learning_rate": 1.66e-05,
+      "loss": 1.8827,
+      "step": 501000
+    },
+    {
+      "epoch": 2.006,
+      "grad_norm": 2.8842196464538574,
+      "learning_rate": 1.6566666666666665e-05,
+      "loss": 1.9248,
+      "step": 501500
+    },
+    {
+      "epoch": 2.008,
+      "grad_norm": 3.3798069953918457,
+      "learning_rate": 1.6533333333333333e-05,
+      "loss": 1.9396,
+      "step": 502000
+    },
+    {
+      "epoch": 2.01,
+      "grad_norm": 2.733304023742676,
+      "learning_rate": 1.65e-05,
+      "loss": 1.968,
+      "step": 502500
+    },
+    {
+      "epoch": 2.012,
+      "grad_norm": 3.890256404876709,
+      "learning_rate": 1.6466666666666666e-05,
+      "loss": 1.9008,
+      "step": 503000
+    },
+    {
+      "epoch": 2.014,
+      "grad_norm": 2.991520404815674,
+      "learning_rate": 1.6433333333333334e-05,
+      "loss": 1.9079,
+      "step": 503500
+    },
+    {
+      "epoch": 2.016,
+      "grad_norm": 4.143782138824463,
+      "learning_rate": 1.6400000000000002e-05,
+      "loss": 1.8297,
+      "step": 504000
+    },
+    {
+      "epoch": 2.018,
+      "grad_norm": 2.547020673751831,
+      "learning_rate": 1.6366666666666667e-05,
+      "loss": 1.9209,
+      "step": 504500
+    },
+    {
+      "epoch": 2.02,
+      "grad_norm": 2.988551139831543,
+      "learning_rate": 1.6333333333333335e-05,
+      "loss": 1.8811,
+      "step": 505000
+    },
+    {
+      "epoch": 2.022,
+      "grad_norm": 2.994225025177002,
+      "learning_rate": 1.63e-05,
+      "loss": 1.8975,
+      "step": 505500
+    },
+    {
+      "epoch": 2.024,
+      "grad_norm": 3.2524096965789795,
+      "learning_rate": 1.6266666666666665e-05,
+      "loss": 1.9288,
+      "step": 506000
+    },
+    {
+      "epoch": 2.026,
+      "grad_norm": 3.9552001953125,
+      "learning_rate": 1.6233333333333333e-05,
+      "loss": 1.8949,
+      "step": 506500
+    },
+    {
+      "epoch": 2.028,
+      "grad_norm": 3.5442562103271484,
+      "learning_rate": 1.62e-05,
+      "loss": 1.8644,
+      "step": 507000
+    },
+    {
+      "epoch": 2.03,
+      "grad_norm": 3.977022409439087,
+      "learning_rate": 1.6166666666666665e-05,
+      "loss": 1.8287,
+      "step": 507500
+    },
+    {
+      "epoch": 2.032,
+      "grad_norm": 3.1233479976654053,
+      "learning_rate": 1.6133333333333334e-05,
+      "loss": 1.8862,
+      "step": 508000
+    },
+    {
+      "epoch": 2.034,
+      "grad_norm": 3.709524393081665,
+      "learning_rate": 1.6100000000000002e-05,
+      "loss": 1.8659,
+      "step": 508500
+    },
+    {
+      "epoch": 2.036,
+      "grad_norm": 3.5073769092559814,
+      "learning_rate": 1.606666666666667e-05,
+      "loss": 1.9096,
+      "step": 509000
+    },
+    {
+      "epoch": 2.038,
+      "grad_norm": 3.7665152549743652,
+      "learning_rate": 1.6033333333333335e-05,
+      "loss": 1.8907,
+      "step": 509500
+    },
+    {
+      "epoch": 2.04,
+      "grad_norm": 4.603018283843994,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 1.8886,
+      "step": 510000
+    },
+    {
+      "epoch": 2.042,
+      "grad_norm": 4.710312843322754,
+      "learning_rate": 1.5966666666666667e-05,
+      "loss": 1.9498,
+      "step": 510500
+    },
+    {
+      "epoch": 2.044,
+      "grad_norm": 3.4907758235931396,
+      "learning_rate": 1.5933333333333332e-05,
+      "loss": 1.9231,
+      "step": 511000
+    },
+    {
+      "epoch": 2.046,
+      "grad_norm": 2.5031802654266357,
+      "learning_rate": 1.59e-05,
+      "loss": 1.8835,
+      "step": 511500
+    },
+    {
+      "epoch": 2.048,
+      "grad_norm": 3.5436174869537354,
+      "learning_rate": 1.586666666666667e-05,
+      "loss": 1.9235,
+      "step": 512000
+    },
+    {
+      "epoch": 2.05,
+      "grad_norm": 3.064300060272217,
+      "learning_rate": 1.5833333333333333e-05,
+      "loss": 1.8486,
+      "step": 512500
+    },
+    {
+      "epoch": 2.052,
+      "grad_norm": 4.113504409790039,
+      "learning_rate": 1.58e-05,
+      "loss": 1.8788,
+      "step": 513000
+    },
+    {
+      "epoch": 2.054,
+      "grad_norm": 2.2760467529296875,
+      "learning_rate": 1.576666666666667e-05,
+      "loss": 1.9129,
+      "step": 513500
+    },
+    {
+      "epoch": 2.056,
+      "grad_norm": 3.8424925804138184,
+      "learning_rate": 1.5733333333333334e-05,
+      "loss": 1.9266,
+      "step": 514000
+    },
+    {
+      "epoch": 2.058,
+      "grad_norm": 3.4564108848571777,
+      "learning_rate": 1.5700000000000002e-05,
+      "loss": 1.885,
+      "step": 514500
+    },
+    {
+      "epoch": 2.06,
+      "grad_norm": 3.039109945297241,
+      "learning_rate": 1.5666666666666667e-05,
+      "loss": 1.907,
+      "step": 515000
+    },
+    {
+      "epoch": 2.062,
+      "grad_norm": 2.940662145614624,
+      "learning_rate": 1.563333333333333e-05,
+      "loss": 1.9565,
+      "step": 515500
+    },
+    {
+      "epoch": 2.064,
+      "grad_norm": 4.041988849639893,
+      "learning_rate": 1.56e-05,
+      "loss": 1.8616,
+      "step": 516000
+    },
+    {
+      "epoch": 2.066,
+      "grad_norm": 2.848482608795166,
+      "learning_rate": 1.5566666666666668e-05,
+      "loss": 1.9008,
+      "step": 516500
+    },
+    {
+      "epoch": 2.068,
+      "grad_norm": 2.872119665145874,
+      "learning_rate": 1.5533333333333333e-05,
+      "loss": 1.883,
+      "step": 517000
+    },
+    {
+      "epoch": 2.07,
+      "grad_norm": 3.5374927520751953,
+      "learning_rate": 1.55e-05,
+      "loss": 1.9051,
+      "step": 517500
+    },
+    {
+      "epoch": 2.072,
+      "grad_norm": 3.942072629928589,
+      "learning_rate": 1.546666666666667e-05,
+      "loss": 1.8929,
+      "step": 518000
+    },
+    {
+      "epoch": 2.074,
+      "grad_norm": 2.7304999828338623,
+      "learning_rate": 1.5433333333333334e-05,
+      "loss": 1.8927,
+      "step": 518500
+    },
+    {
+      "epoch": 2.076,
+      "grad_norm": 3.5837740898132324,
+      "learning_rate": 1.54e-05,
+      "loss": 1.891,
+      "step": 519000
+    },
+    {
+      "epoch": 2.078,
+      "grad_norm": 2.614603281021118,
+      "learning_rate": 1.536666666666667e-05,
+      "loss": 1.9218,
+      "step": 519500
+    },
+    {
+      "epoch": 2.08,
+      "grad_norm": 2.8395819664001465,
+      "learning_rate": 1.5333333333333334e-05,
+      "loss": 1.9042,
+      "step": 520000
+    },
+    {
+      "epoch": 2.082,
+      "grad_norm": 3.220353364944458,
+      "learning_rate": 1.53e-05,
+      "loss": 1.91,
+      "step": 520500
+    },
+    {
+      "epoch": 2.084,
+      "grad_norm": 3.600212574005127,
+      "learning_rate": 1.5266666666666667e-05,
+      "loss": 1.9439,
+      "step": 521000
+    },
+    {
+      "epoch": 2.086,
+      "grad_norm": 3.132828950881958,
+      "learning_rate": 1.5233333333333332e-05,
+      "loss": 1.8983,
+      "step": 521500
+    },
+    {
+      "epoch": 2.088,
+      "grad_norm": 3.937420129776001,
+      "learning_rate": 1.52e-05,
+      "loss": 1.8759,
+      "step": 522000
+    },
+    {
+      "epoch": 2.09,
+      "grad_norm": 2.952033042907715,
+      "learning_rate": 1.5166666666666668e-05,
+      "loss": 1.9049,
+      "step": 522500
+    },
+    {
+      "epoch": 2.092,
+      "grad_norm": 2.5694615840911865,
+      "learning_rate": 1.5133333333333333e-05,
+      "loss": 1.9664,
+      "step": 523000
+    },
+    {
+      "epoch": 2.094,
+      "grad_norm": 3.440437078475952,
+      "learning_rate": 1.51e-05,
+      "loss": 1.8997,
+      "step": 523500
+    },
+    {
+      "epoch": 2.096,
+      "grad_norm": 2.9814558029174805,
+      "learning_rate": 1.5066666666666668e-05,
+      "loss": 1.9387,
+      "step": 524000
+    },
+    {
+      "epoch": 2.098,
+      "grad_norm": 4.388236999511719,
+      "learning_rate": 1.5033333333333336e-05,
+      "loss": 1.8811,
+      "step": 524500
+    },
+    {
+      "epoch": 2.1,
+      "grad_norm": 5.515291213989258,
+      "learning_rate": 1.5e-05,
+      "loss": 1.8794,
+      "step": 525000
+    },
+    {
+      "epoch": 2.102,
+      "grad_norm": 3.57409930229187,
+      "learning_rate": 1.4966666666666668e-05,
+      "loss": 1.9401,
+      "step": 525500
+    },
+    {
+      "epoch": 2.104,
+      "grad_norm": 2.788435935974121,
+      "learning_rate": 1.4933333333333335e-05,
+      "loss": 1.9224,
+      "step": 526000
+    },
+    {
+      "epoch": 2.106,
+      "grad_norm": 3.6159706115722656,
+      "learning_rate": 1.49e-05,
+      "loss": 1.8863,
+      "step": 526500
+    },
+    {
+      "epoch": 2.108,
+      "grad_norm": 3.8776602745056152,
+      "learning_rate": 1.4866666666666668e-05,
+      "loss": 1.8946,
+      "step": 527000
+    },
+    {
+      "epoch": 2.11,
+      "grad_norm": 3.5020999908447266,
+      "learning_rate": 1.4833333333333336e-05,
+      "loss": 1.9351,
+      "step": 527500
+    },
+    {
+      "epoch": 2.112,
+      "grad_norm": 4.156538486480713,
+      "learning_rate": 1.48e-05,
+      "loss": 1.9466,
+      "step": 528000
+    },
+    {
+      "epoch": 2.114,
+      "grad_norm": 3.4934823513031006,
+      "learning_rate": 1.4766666666666667e-05,
+      "loss": 1.8991,
+      "step": 528500
+    },
+    {
+      "epoch": 2.116,
+      "grad_norm": 3.538376808166504,
+      "learning_rate": 1.4733333333333335e-05,
+      "loss": 1.8784,
+      "step": 529000
+    },
+    {
+      "epoch": 2.118,
+      "grad_norm": 4.742537975311279,
+      "learning_rate": 1.47e-05,
+      "loss": 1.901,
+      "step": 529500
+    },
+    {
+      "epoch": 2.12,
+      "grad_norm": 2.6691787242889404,
+      "learning_rate": 1.4666666666666668e-05,
+      "loss": 1.8687,
+      "step": 530000
+    },
+    {
+      "epoch": 2.122,
+      "grad_norm": 3.3258254528045654,
+      "learning_rate": 1.4633333333333334e-05,
+      "loss": 1.9045,
+      "step": 530500
+    },
+    {
+      "epoch": 2.124,
+      "grad_norm": 2.6713833808898926,
+      "learning_rate": 1.4599999999999999e-05,
+      "loss": 1.8878,
+      "step": 531000
+    },
+    {
+      "epoch": 2.126,
+      "grad_norm": 3.0347344875335693,
+      "learning_rate": 1.4566666666666667e-05,
+      "loss": 1.8862,
+      "step": 531500
+    },
+    {
+      "epoch": 2.128,
+      "grad_norm": 2.6107699871063232,
+      "learning_rate": 1.4533333333333335e-05,
+      "loss": 1.897,
+      "step": 532000
+    },
+    {
+      "epoch": 2.13,
+      "grad_norm": 2.6980161666870117,
+      "learning_rate": 1.45e-05,
+      "loss": 1.901,
+      "step": 532500
+    },
+    {
+      "epoch": 2.132,
+      "grad_norm": 2.668734550476074,
+      "learning_rate": 1.4466666666666667e-05,
+      "loss": 1.8761,
+      "step": 533000
+    },
+    {
+      "epoch": 2.134,
+      "grad_norm": 4.179068088531494,
+      "learning_rate": 1.4433333333333335e-05,
+      "loss": 1.8778,
+      "step": 533500
+    },
+    {
+      "epoch": 2.136,
+      "grad_norm": 2.7158665657043457,
+      "learning_rate": 1.44e-05,
+      "loss": 1.8767,
+      "step": 534000
+    },
+    {
+      "epoch": 2.138,
+      "grad_norm": 3.4450862407684326,
+      "learning_rate": 1.4366666666666667e-05,
+      "loss": 1.8997,
+      "step": 534500
+    },
+    {
+      "epoch": 2.14,
+      "grad_norm": 2.5921220779418945,
+      "learning_rate": 1.4333333333333334e-05,
+      "loss": 1.9043,
+      "step": 535000
+    },
+    {
+      "epoch": 2.142,
+      "grad_norm": 2.932007312774658,
+      "learning_rate": 1.43e-05,
+      "loss": 1.9328,
+      "step": 535500
+    },
+    {
+      "epoch": 2.144,
+      "grad_norm": 3.7363457679748535,
+      "learning_rate": 1.4266666666666667e-05,
+      "loss": 1.8865,
+      "step": 536000
+    },
+    {
+      "epoch": 2.146,
+      "grad_norm": 2.9383416175842285,
+      "learning_rate": 1.4233333333333335e-05,
+      "loss": 1.9289,
+      "step": 536500
+    },
+    {
+      "epoch": 2.148,
+      "grad_norm": 5.275363445281982,
+      "learning_rate": 1.42e-05,
+      "loss": 1.9072,
+      "step": 537000
+    },
+    {
+      "epoch": 2.15,
+      "grad_norm": 4.390030860900879,
+      "learning_rate": 1.4166666666666668e-05,
+      "loss": 1.9127,
+      "step": 537500
+    },
+    {
+      "epoch": 2.152,
+      "grad_norm": 3.8136355876922607,
+      "learning_rate": 1.4133333333333334e-05,
+      "loss": 1.9097,
+      "step": 538000
+    },
+    {
+      "epoch": 2.154,
+      "grad_norm": 2.7460992336273193,
+      "learning_rate": 1.4099999999999999e-05,
+      "loss": 1.8847,
+      "step": 538500
+    },
+    {
+      "epoch": 2.156,
+      "grad_norm": 2.7037174701690674,
+      "learning_rate": 1.4066666666666667e-05,
+      "loss": 1.8886,
+      "step": 539000
+    },
+    {
+      "epoch": 2.158,
+      "grad_norm": 3.254654884338379,
+      "learning_rate": 1.4033333333333335e-05,
+      "loss": 1.86,
+      "step": 539500
+    },
+    {
+      "epoch": 2.16,
+      "grad_norm": 0.9252458214759827,
+      "learning_rate": 1.4000000000000001e-05,
+      "loss": 1.8845,
+      "step": 540000
+    },
+    {
+      "epoch": 2.162,
+      "grad_norm": 2.2878942489624023,
+      "learning_rate": 1.3966666666666666e-05,
+      "loss": 1.9081,
+      "step": 540500
+    },
+    {
+      "epoch": 2.164,
+      "grad_norm": 3.7458975315093994,
+      "learning_rate": 1.3933333333333334e-05,
+      "loss": 1.8792,
+      "step": 541000
+    },
+    {
+      "epoch": 2.166,
+      "grad_norm": 1.9481960535049438,
+      "learning_rate": 1.3900000000000002e-05,
+      "loss": 1.9414,
+      "step": 541500
+    },
+    {
+      "epoch": 2.168,
+      "grad_norm": 3.8123795986175537,
+      "learning_rate": 1.3866666666666667e-05,
+      "loss": 1.8878,
+      "step": 542000
+    },
+    {
+      "epoch": 2.17,
+      "grad_norm": 3.0898687839508057,
+      "learning_rate": 1.3833333333333334e-05,
+      "loss": 1.9291,
+      "step": 542500
+    },
+    {
+      "epoch": 2.172,
+      "grad_norm": 3.913783550262451,
+      "learning_rate": 1.3800000000000002e-05,
+      "loss": 1.866,
+      "step": 543000
+    },
+    {
+      "epoch": 2.174,
+      "grad_norm": 4.678142547607422,
+      "learning_rate": 1.3766666666666666e-05,
+      "loss": 1.8901,
+      "step": 543500
+    },
+    {
+      "epoch": 2.176,
+      "grad_norm": 4.407011985778809,
+      "learning_rate": 1.3733333333333335e-05,
+      "loss": 1.9181,
+      "step": 544000
+    },
+    {
+      "epoch": 2.178,
+      "grad_norm": 3.8431427478790283,
+      "learning_rate": 1.3700000000000001e-05,
+      "loss": 1.8872,
+      "step": 544500
+    },
+    {
+      "epoch": 2.18,
+      "grad_norm": 5.471756458282471,
+      "learning_rate": 1.3666666666666666e-05,
+      "loss": 1.8523,
+      "step": 545000
+    },
+    {
+      "epoch": 2.182,
+      "grad_norm": 4.193549633026123,
+      "learning_rate": 1.3633333333333334e-05,
+      "loss": 1.9087,
+      "step": 545500
+    },
+    {
+      "epoch": 2.184,
+      "grad_norm": 6.040940284729004,
+      "learning_rate": 1.3600000000000002e-05,
+      "loss": 1.904,
+      "step": 546000
+    },
+    {
+      "epoch": 2.186,
+      "grad_norm": 4.958623886108398,
+      "learning_rate": 1.3566666666666667e-05,
+      "loss": 1.8872,
+      "step": 546500
+    },
+    {
+      "epoch": 2.188,
+      "grad_norm": 3.5732219219207764,
+      "learning_rate": 1.3533333333333335e-05,
+      "loss": 1.8854,
+      "step": 547000
+    },
+    {
+      "epoch": 2.19,
+      "grad_norm": 2.6640355587005615,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 1.9091,
+      "step": 547500
+    },
+    {
+      "epoch": 2.192,
+      "grad_norm": 2.6168007850646973,
+      "learning_rate": 1.3466666666666666e-05,
+      "loss": 1.9159,
+      "step": 548000
+    },
+    {
+      "epoch": 2.194,
+      "grad_norm": 3.4819018840789795,
+      "learning_rate": 1.3433333333333334e-05,
+      "loss": 1.9258,
+      "step": 548500
+    },
+    {
+      "epoch": 2.196,
+      "grad_norm": 4.565124034881592,
+      "learning_rate": 1.3400000000000002e-05,
+      "loss": 1.8849,
+      "step": 549000
+    },
+    {
+      "epoch": 2.198,
+      "grad_norm": 3.159424304962158,
+      "learning_rate": 1.3366666666666667e-05,
+      "loss": 1.9123,
+      "step": 549500
+    },
+    {
+      "epoch": 2.2,
+      "grad_norm": 2.9942736625671387,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 1.9404,
+      "step": 550000
+    },
+    {
+      "epoch": 2.202,
+      "grad_norm": 2.966594934463501,
+      "learning_rate": 1.3300000000000001e-05,
+      "loss": 1.8928,
+      "step": 550500
+    },
+    {
+      "epoch": 2.204,
+      "grad_norm": 2.156978130340576,
+      "learning_rate": 1.3266666666666666e-05,
+      "loss": 1.8976,
+      "step": 551000
+    },
+    {
+      "epoch": 2.206,
+      "grad_norm": 2.2983994483947754,
+      "learning_rate": 1.3233333333333334e-05,
+      "loss": 1.8812,
+      "step": 551500
+    },
+    {
+      "epoch": 2.208,
+      "grad_norm": 3.509923219680786,
+      "learning_rate": 1.32e-05,
+      "loss": 1.864,
+      "step": 552000
+    },
+    {
+      "epoch": 2.21,
+      "grad_norm": 5.821509838104248,
+      "learning_rate": 1.3166666666666665e-05,
+      "loss": 1.8775,
+      "step": 552500
+    },
+    {
+      "epoch": 2.212,
+      "grad_norm": 2.919370174407959,
+      "learning_rate": 1.3133333333333334e-05,
+      "loss": 1.942,
+      "step": 553000
+    },
+    {
+      "epoch": 2.214,
+      "grad_norm": 1.576897144317627,
+      "learning_rate": 1.3100000000000002e-05,
+      "loss": 1.8807,
+      "step": 553500
+    },
+    {
+      "epoch": 2.216,
+      "grad_norm": 1.7386987209320068,
+      "learning_rate": 1.3066666666666666e-05,
+      "loss": 1.8703,
+      "step": 554000
+    },
+    {
+      "epoch": 2.218,
+      "grad_norm": 5.212026119232178,
+      "learning_rate": 1.3033333333333333e-05,
+      "loss": 1.9167,
+      "step": 554500
+    },
+    {
+      "epoch": 2.22,
+      "grad_norm": 2.764861583709717,
+      "learning_rate": 1.3000000000000001e-05,
+      "loss": 1.8782,
+      "step": 555000
+    },
+    {
+      "epoch": 2.222,
+      "grad_norm": 3.53177809715271,
+      "learning_rate": 1.2966666666666669e-05,
+      "loss": 1.8982,
+      "step": 555500
+    },
+    {
+      "epoch": 2.224,
+      "grad_norm": 3.263517379760742,
+      "learning_rate": 1.2933333333333334e-05,
+      "loss": 1.8831,
+      "step": 556000
+    },
+    {
+      "epoch": 2.226,
+      "grad_norm": 3.6698548793792725,
+      "learning_rate": 1.29e-05,
+      "loss": 1.9103,
+      "step": 556500
+    },
+    {
+      "epoch": 2.228,
+      "grad_norm": 2.7414796352386475,
+      "learning_rate": 1.2866666666666668e-05,
+      "loss": 1.9035,
+      "step": 557000
+    },
+    {
+      "epoch": 2.23,
+      "grad_norm": 2.726566791534424,
+      "learning_rate": 1.2833333333333333e-05,
+      "loss": 1.8897,
+      "step": 557500
+    },
+    {
+      "epoch": 2.232,
+      "grad_norm": 2.6382150650024414,
+      "learning_rate": 1.2800000000000001e-05,
+      "loss": 1.9157,
+      "step": 558000
+    },
+    {
+      "epoch": 2.234,
+      "grad_norm": 5.427677631378174,
+      "learning_rate": 1.276666666666667e-05,
+      "loss": 1.8836,
+      "step": 558500
+    },
+    {
+      "epoch": 2.2359999999999998,
+      "grad_norm": 3.0854194164276123,
+      "learning_rate": 1.2733333333333334e-05,
+      "loss": 1.9062,
+      "step": 559000
+    },
+    {
+      "epoch": 2.238,
+      "grad_norm": 5.310868740081787,
+      "learning_rate": 1.27e-05,
+      "loss": 1.8599,
+      "step": 559500
+    },
+    {
+      "epoch": 2.24,
+      "grad_norm": 2.9961390495300293,
+      "learning_rate": 1.2666666666666668e-05,
+      "loss": 1.8811,
+      "step": 560000
+    },
+    {
+      "epoch": 2.242,
+      "grad_norm": 2.962911367416382,
+      "learning_rate": 1.2633333333333333e-05,
+      "loss": 1.8505,
+      "step": 560500
+    },
+    {
+      "epoch": 2.2439999999999998,
+      "grad_norm": 2.7005624771118164,
+      "learning_rate": 1.2600000000000001e-05,
+      "loss": 1.8509,
+      "step": 561000
+    },
+    {
+      "epoch": 2.246,
+      "grad_norm": 3.6591291427612305,
+      "learning_rate": 1.2566666666666668e-05,
+      "loss": 1.9609,
+      "step": 561500
+    },
+    {
+      "epoch": 2.248,
+      "grad_norm": 4.7681565284729,
+      "learning_rate": 1.2533333333333332e-05,
+      "loss": 1.913,
+      "step": 562000
+    },
+    {
+      "epoch": 2.25,
+      "grad_norm": 1.7412201166152954,
+      "learning_rate": 1.25e-05,
+      "loss": 1.8559,
+      "step": 562500
+    },
+    {
+      "epoch": 2.252,
+      "grad_norm": 2.5334091186523438,
+      "learning_rate": 1.2466666666666667e-05,
+      "loss": 1.8927,
+      "step": 563000
+    },
+    {
+      "epoch": 2.254,
+      "grad_norm": 3.22037935256958,
+      "learning_rate": 1.2433333333333335e-05,
+      "loss": 1.8908,
+      "step": 563500
+    },
+    {
+      "epoch": 2.2560000000000002,
+      "grad_norm": 2.89141845703125,
+      "learning_rate": 1.24e-05,
+      "loss": 1.9244,
+      "step": 564000
+    },
+    {
+      "epoch": 2.258,
+      "grad_norm": 4.080277442932129,
+      "learning_rate": 1.2366666666666666e-05,
+      "loss": 1.8939,
+      "step": 564500
+    },
+    {
+      "epoch": 2.26,
+      "grad_norm": 4.0698442459106445,
+      "learning_rate": 1.2333333333333334e-05,
+      "loss": 1.8698,
+      "step": 565000
+    },
+    {
+      "epoch": 2.262,
+      "grad_norm": 5.503513813018799,
+      "learning_rate": 1.23e-05,
+      "loss": 1.9065,
+      "step": 565500
+    },
+    {
+      "epoch": 2.2640000000000002,
+      "grad_norm": 2.9533393383026123,
+      "learning_rate": 1.2266666666666667e-05,
+      "loss": 1.862,
+      "step": 566000
+    },
+    {
+      "epoch": 2.266,
+      "grad_norm": 3.555912733078003,
+      "learning_rate": 1.2233333333333334e-05,
+      "loss": 1.8454,
+      "step": 566500
+    },
+    {
+      "epoch": 2.268,
+      "grad_norm": 2.3965213298797607,
+      "learning_rate": 1.22e-05,
+      "loss": 1.8947,
+      "step": 567000
+    },
+    {
+      "epoch": 2.27,
+      "grad_norm": 3.87776255607605,
+      "learning_rate": 1.2166666666666668e-05,
+      "loss": 1.8961,
+      "step": 567500
+    },
+    {
+      "epoch": 2.2720000000000002,
+      "grad_norm": 3.0097196102142334,
+      "learning_rate": 1.2133333333333335e-05,
+      "loss": 1.9398,
+      "step": 568000
+    },
+    {
+      "epoch": 2.274,
+      "grad_norm": 2.555629014968872,
+      "learning_rate": 1.2100000000000001e-05,
+      "loss": 1.8943,
+      "step": 568500
+    },
+    {
+      "epoch": 2.276,
+      "grad_norm": 3.1103897094726562,
+      "learning_rate": 1.2066666666666667e-05,
+      "loss": 1.9077,
+      "step": 569000
+    },
+    {
+      "epoch": 2.278,
+      "grad_norm": 2.6799404621124268,
+      "learning_rate": 1.2033333333333334e-05,
+      "loss": 1.8463,
+      "step": 569500
+    },
+    {
+      "epoch": 2.2800000000000002,
+      "grad_norm": 2.889711380004883,
+      "learning_rate": 1.2e-05,
+      "loss": 1.8218,
+      "step": 570000
+    },
+    {
+      "epoch": 2.282,
+      "grad_norm": 2.04535174369812,
+      "learning_rate": 1.1966666666666668e-05,
+      "loss": 1.8976,
+      "step": 570500
+    },
+    {
+      "epoch": 2.284,
+      "grad_norm": 2.933461904525757,
+      "learning_rate": 1.1933333333333333e-05,
+      "loss": 1.9186,
+      "step": 571000
+    },
+    {
+      "epoch": 2.286,
+      "grad_norm": 3.440293550491333,
+      "learning_rate": 1.19e-05,
+      "loss": 1.9146,
+      "step": 571500
+    },
+    {
+      "epoch": 2.288,
+      "grad_norm": 4.65705680847168,
+      "learning_rate": 1.1866666666666668e-05,
+      "loss": 1.9066,
+      "step": 572000
+    },
+    {
+      "epoch": 2.29,
+      "grad_norm": 4.189986705780029,
+      "learning_rate": 1.1833333333333334e-05,
+      "loss": 1.9129,
+      "step": 572500
+    },
+    {
+      "epoch": 2.292,
+      "grad_norm": 3.0416994094848633,
+      "learning_rate": 1.18e-05,
+      "loss": 1.874,
+      "step": 573000
+    },
+    {
+      "epoch": 2.294,
+      "grad_norm": 2.981658697128296,
+      "learning_rate": 1.1766666666666667e-05,
+      "loss": 1.8945,
+      "step": 573500
+    },
+    {
+      "epoch": 2.296,
+      "grad_norm": 2.5901129245758057,
+      "learning_rate": 1.1733333333333333e-05,
+      "loss": 1.9399,
+      "step": 574000
+    },
+    {
+      "epoch": 2.298,
+      "grad_norm": 1.855245590209961,
+      "learning_rate": 1.1700000000000001e-05,
+      "loss": 1.8979,
+      "step": 574500
+    },
+    {
+      "epoch": 2.3,
+      "grad_norm": 5.531369209289551,
+      "learning_rate": 1.1666666666666668e-05,
+      "loss": 1.8559,
+      "step": 575000
+    },
+    {
+      "epoch": 2.302,
+      "grad_norm": 2.6655666828155518,
+      "learning_rate": 1.1633333333333334e-05,
+      "loss": 1.8883,
+      "step": 575500
+    },
+    {
+      "epoch": 2.304,
+      "grad_norm": 3.288712501525879,
+      "learning_rate": 1.16e-05,
+      "loss": 1.8703,
+      "step": 576000
+    },
+    {
+      "epoch": 2.306,
+      "grad_norm": 3.378002405166626,
+      "learning_rate": 1.1566666666666667e-05,
+      "loss": 1.9143,
+      "step": 576500
+    },
+    {
+      "epoch": 2.308,
+      "grad_norm": 2.586623430252075,
+      "learning_rate": 1.1533333333333334e-05,
+      "loss": 1.8799,
+      "step": 577000
+    },
+    {
+      "epoch": 2.31,
+      "grad_norm": 2.1906540393829346,
+      "learning_rate": 1.1500000000000002e-05,
+      "loss": 1.8487,
+      "step": 577500
+    },
+    {
+      "epoch": 2.312,
+      "grad_norm": 2.9062159061431885,
+      "learning_rate": 1.1466666666666666e-05,
+      "loss": 1.8397,
+      "step": 578000
+    },
+    {
+      "epoch": 2.314,
+      "grad_norm": 3.4913947582244873,
+      "learning_rate": 1.1433333333333333e-05,
+      "loss": 1.9508,
+      "step": 578500
+    },
+    {
+      "epoch": 2.316,
+      "grad_norm": 5.257672309875488,
+      "learning_rate": 1.1400000000000001e-05,
+      "loss": 1.8991,
+      "step": 579000
+    },
+    {
+      "epoch": 2.318,
+      "grad_norm": 3.3229730129241943,
+      "learning_rate": 1.1366666666666667e-05,
+      "loss": 1.8936,
+      "step": 579500
+    },
+    {
+      "epoch": 2.32,
+      "grad_norm": 2.4324612617492676,
+      "learning_rate": 1.1333333333333334e-05,
+      "loss": 1.895,
+      "step": 580000
+    },
+    {
+      "epoch": 2.322,
+      "grad_norm": 3.121965169906616,
+      "learning_rate": 1.13e-05,
+      "loss": 1.9267,
+      "step": 580500
+    },
+    {
+      "epoch": 2.324,
+      "grad_norm": 2.727795362472534,
+      "learning_rate": 1.1266666666666667e-05,
+      "loss": 1.8442,
+      "step": 581000
+    },
+    {
+      "epoch": 2.326,
+      "grad_norm": 3.414295196533203,
+      "learning_rate": 1.1233333333333333e-05,
+      "loss": 1.9144,
+      "step": 581500
+    },
+    {
+      "epoch": 2.328,
+      "grad_norm": 3.7727465629577637,
+      "learning_rate": 1.1200000000000001e-05,
+      "loss": 1.9024,
+      "step": 582000
+    },
+    {
+      "epoch": 2.33,
+      "grad_norm": 2.759531259536743,
+      "learning_rate": 1.1166666666666668e-05,
+      "loss": 1.9023,
+      "step": 582500
+    },
+    {
+      "epoch": 2.332,
+      "grad_norm": 2.8397293090820312,
+      "learning_rate": 1.1133333333333334e-05,
+      "loss": 1.9022,
+      "step": 583000
+    },
+    {
+      "epoch": 2.334,
+      "grad_norm": 3.569690227508545,
+      "learning_rate": 1.11e-05,
+      "loss": 1.9019,
+      "step": 583500
+    },
+    {
+      "epoch": 2.336,
+      "grad_norm": 3.554769277572632,
+      "learning_rate": 1.1066666666666667e-05,
+      "loss": 1.8686,
+      "step": 584000
+    },
+    {
+      "epoch": 2.338,
+      "grad_norm": 3.0585317611694336,
+      "learning_rate": 1.1033333333333335e-05,
+      "loss": 1.8991,
+      "step": 584500
+    },
+    {
+      "epoch": 2.34,
+      "grad_norm": 4.547719955444336,
+      "learning_rate": 1.1000000000000001e-05,
+      "loss": 1.8881,
+      "step": 585000
+    },
+    {
+      "epoch": 2.342,
+      "grad_norm": 2.882516384124756,
+      "learning_rate": 1.0966666666666666e-05,
+      "loss": 1.8466,
+      "step": 585500
+    },
+    {
+      "epoch": 2.344,
+      "grad_norm": 2.5705254077911377,
+      "learning_rate": 1.0933333333333334e-05,
+      "loss": 1.9461,
+      "step": 586000
+    },
+    {
+      "epoch": 2.346,
+      "grad_norm": 4.421859264373779,
+      "learning_rate": 1.09e-05,
+      "loss": 1.9265,
+      "step": 586500
+    },
+    {
+      "epoch": 2.348,
+      "grad_norm": 2.880268096923828,
+      "learning_rate": 1.0866666666666667e-05,
+      "loss": 1.8919,
+      "step": 587000
+    },
+    {
+      "epoch": 2.35,
+      "grad_norm": 4.9404191970825195,
+      "learning_rate": 1.0833333333333334e-05,
+      "loss": 1.888,
+      "step": 587500
+    },
+    {
+      "epoch": 2.352,
+      "grad_norm": 3.3267626762390137,
+      "learning_rate": 1.08e-05,
+      "loss": 1.9035,
+      "step": 588000
+    },
+    {
+      "epoch": 2.354,
+      "grad_norm": 3.39530611038208,
+      "learning_rate": 1.0766666666666666e-05,
+      "loss": 1.9084,
+      "step": 588500
+    },
+    {
+      "epoch": 2.356,
+      "grad_norm": 2.8372628688812256,
+      "learning_rate": 1.0733333333333334e-05,
+      "loss": 1.9451,
+      "step": 589000
+    },
+    {
+      "epoch": 2.358,
+      "grad_norm": 2.246088981628418,
+      "learning_rate": 1.0700000000000001e-05,
+      "loss": 1.8733,
+      "step": 589500
+    },
+    {
+      "epoch": 2.36,
+      "grad_norm": 3.605590343475342,
+      "learning_rate": 1.0666666666666667e-05,
+      "loss": 1.8825,
+      "step": 590000
+    },
+    {
+      "epoch": 2.362,
+      "grad_norm": 4.215860366821289,
+      "learning_rate": 1.0633333333333334e-05,
+      "loss": 1.8785,
+      "step": 590500
+    },
+    {
+      "epoch": 2.364,
+      "grad_norm": 3.2889246940612793,
+      "learning_rate": 1.06e-05,
+      "loss": 1.8804,
+      "step": 591000
+    },
+    {
+      "epoch": 2.366,
+      "grad_norm": 3.1713948249816895,
+      "learning_rate": 1.0566666666666668e-05,
+      "loss": 1.917,
+      "step": 591500
+    },
+    {
+      "epoch": 2.368,
+      "grad_norm": 3.532456159591675,
+      "learning_rate": 1.0533333333333335e-05,
+      "loss": 1.8703,
+      "step": 592000
+    },
+    {
+      "epoch": 2.37,
+      "grad_norm": 3.9838836193084717,
+      "learning_rate": 1.05e-05,
+      "loss": 1.8841,
+      "step": 592500
+    },
+    {
+      "epoch": 2.372,
+      "grad_norm": 7.132261753082275,
+      "learning_rate": 1.0466666666666668e-05,
+      "loss": 1.9091,
+      "step": 593000
+    },
+    {
+      "epoch": 2.374,
+      "grad_norm": 3.121617317199707,
+      "learning_rate": 1.0433333333333334e-05,
+      "loss": 1.8464,
+      "step": 593500
+    },
+    {
+      "epoch": 2.376,
+      "grad_norm": 3.3648314476013184,
+      "learning_rate": 1.04e-05,
+      "loss": 1.8886,
+      "step": 594000
+    },
+    {
+      "epoch": 2.378,
+      "grad_norm": 4.1274285316467285,
+      "learning_rate": 1.0366666666666667e-05,
+      "loss": 1.8994,
+      "step": 594500
+    },
+    {
+      "epoch": 2.38,
+      "grad_norm": 2.946350574493408,
+      "learning_rate": 1.0333333333333333e-05,
+      "loss": 1.9031,
+      "step": 595000
+    },
+    {
+      "epoch": 2.382,
+      "grad_norm": 2.427210569381714,
+      "learning_rate": 1.03e-05,
+      "loss": 1.866,
+      "step": 595500
+    },
+    {
+      "epoch": 2.384,
+      "grad_norm": 3.5120413303375244,
+      "learning_rate": 1.0266666666666668e-05,
+      "loss": 1.8928,
+      "step": 596000
+    },
+    {
+      "epoch": 2.386,
+      "grad_norm": 4.003697395324707,
+      "learning_rate": 1.0233333333333334e-05,
+      "loss": 1.8438,
+      "step": 596500
+    },
+    {
+      "epoch": 2.388,
+      "grad_norm": 3.2927663326263428,
+      "learning_rate": 1.02e-05,
+      "loss": 1.9155,
+      "step": 597000
+    },
+    {
+      "epoch": 2.39,
+      "grad_norm": 3.4086220264434814,
+      "learning_rate": 1.0166666666666667e-05,
+      "loss": 1.8742,
+      "step": 597500
+    },
+    {
+      "epoch": 2.392,
+      "grad_norm": 2.480473756790161,
+      "learning_rate": 1.0133333333333333e-05,
+      "loss": 1.8541,
+      "step": 598000
+    },
+    {
+      "epoch": 2.394,
+      "grad_norm": 3.448462963104248,
+      "learning_rate": 1.0100000000000002e-05,
+      "loss": 1.846,
+      "step": 598500
+    },
+    {
+      "epoch": 2.396,
+      "grad_norm": 2.509504556655884,
+      "learning_rate": 1.0066666666666668e-05,
+      "loss": 1.919,
+      "step": 599000
+    },
+    {
+      "epoch": 2.398,
+      "grad_norm": 3.439053535461426,
+      "learning_rate": 1.0033333333333333e-05,
+      "loss": 1.8858,
+      "step": 599500
+    },
+    {
+      "epoch": 2.4,
+      "grad_norm": 3.9890522956848145,
+      "learning_rate": 1e-05,
+      "loss": 1.8591,
+      "step": 600000
+    },
+    {
+      "epoch": 2.402,
+      "grad_norm": 4.084634780883789,
+      "learning_rate": 9.966666666666667e-06,
+      "loss": 1.8489,
+      "step": 600500
+    },
+    {
+      "epoch": 2.404,
+      "grad_norm": 3.9349868297576904,
+      "learning_rate": 9.933333333333334e-06,
+      "loss": 1.9189,
+      "step": 601000
+    },
+    {
+      "epoch": 2.406,
+      "grad_norm": 2.616210460662842,
+      "learning_rate": 9.900000000000002e-06,
+      "loss": 1.8826,
+      "step": 601500
+    },
+    {
+      "epoch": 2.408,
+      "grad_norm": 2.397810935974121,
+      "learning_rate": 9.866666666666667e-06,
+      "loss": 1.8374,
+      "step": 602000
+    },
+    {
+      "epoch": 2.41,
+      "grad_norm": 2.768425226211548,
+      "learning_rate": 9.833333333333333e-06,
+      "loss": 1.8738,
+      "step": 602500
+    },
+    {
+      "epoch": 2.412,
+      "grad_norm": 2.4304420948028564,
+      "learning_rate": 9.800000000000001e-06,
+      "loss": 1.886,
+      "step": 603000
+    },
+    {
+      "epoch": 2.414,
+      "grad_norm": 3.587301015853882,
+      "learning_rate": 9.766666666666667e-06,
+      "loss": 1.8647,
+      "step": 603500
+    },
+    {
+      "epoch": 2.416,
+      "grad_norm": 4.408061981201172,
+      "learning_rate": 9.733333333333334e-06,
+      "loss": 1.8166,
+      "step": 604000
+    },
+    {
+      "epoch": 2.418,
+      "grad_norm": 3.5019145011901855,
+      "learning_rate": 9.7e-06,
+      "loss": 1.8832,
+      "step": 604500
+    },
+    {
+      "epoch": 2.42,
+      "grad_norm": 3.0120651721954346,
+      "learning_rate": 9.666666666666667e-06,
+      "loss": 1.9178,
+      "step": 605000
+    },
+    {
+      "epoch": 2.422,
+      "grad_norm": 2.9974324703216553,
+      "learning_rate": 9.633333333333335e-06,
+      "loss": 1.889,
+      "step": 605500
+    },
+    {
+      "epoch": 2.424,
+      "grad_norm": 3.556570053100586,
+      "learning_rate": 9.600000000000001e-06,
+      "loss": 1.8461,
+      "step": 606000
+    },
+    {
+      "epoch": 2.426,
+      "grad_norm": 2.4842612743377686,
+      "learning_rate": 9.566666666666666e-06,
+      "loss": 1.9208,
+      "step": 606500
+    },
+    {
+      "epoch": 2.428,
+      "grad_norm": 2.987746000289917,
+      "learning_rate": 9.533333333333334e-06,
+      "loss": 1.8918,
+      "step": 607000
+    },
+    {
+      "epoch": 2.43,
+      "grad_norm": 2.7800424098968506,
+      "learning_rate": 9.5e-06,
+      "loss": 1.9339,
+      "step": 607500
+    },
+    {
+      "epoch": 2.432,
+      "grad_norm": 2.9803011417388916,
+      "learning_rate": 9.466666666666667e-06,
+      "loss": 1.8775,
+      "step": 608000
+    },
+    {
+      "epoch": 2.434,
+      "grad_norm": 4.389027118682861,
+      "learning_rate": 9.433333333333335e-06,
+      "loss": 1.8805,
+      "step": 608500
+    },
+    {
+      "epoch": 2.436,
+      "grad_norm": 3.4128823280334473,
+      "learning_rate": 9.4e-06,
+      "loss": 1.8729,
+      "step": 609000
+    },
+    {
+      "epoch": 2.438,
+      "grad_norm": 2.8874900341033936,
+      "learning_rate": 9.366666666666666e-06,
+      "loss": 1.8718,
+      "step": 609500
+    },
+    {
+      "epoch": 2.44,
+      "grad_norm": 3.416203260421753,
+      "learning_rate": 9.333333333333334e-06,
+      "loss": 1.9095,
+      "step": 610000
+    },
+    {
+      "epoch": 2.442,
+      "grad_norm": 4.16544246673584,
+      "learning_rate": 9.3e-06,
+      "loss": 1.8894,
+      "step": 610500
+    },
+    {
+      "epoch": 2.444,
+      "grad_norm": 3.1699767112731934,
+      "learning_rate": 9.266666666666667e-06,
+      "loss": 1.8726,
+      "step": 611000
+    },
+    {
+      "epoch": 2.446,
+      "grad_norm": 2.9980835914611816,
+      "learning_rate": 9.233333333333334e-06,
+      "loss": 1.847,
+      "step": 611500
+    },
+    {
+      "epoch": 2.448,
+      "grad_norm": 7.348918914794922,
+      "learning_rate": 9.2e-06,
+      "loss": 1.8976,
+      "step": 612000
+    },
+    {
+      "epoch": 2.45,
+      "grad_norm": 3.5759294033050537,
+      "learning_rate": 9.166666666666666e-06,
+      "loss": 1.9164,
+      "step": 612500
+    },
+    {
+      "epoch": 2.452,
+      "grad_norm": 2.815521001815796,
+      "learning_rate": 9.133333333333335e-06,
+      "loss": 1.8361,
+      "step": 613000
+    },
+    {
+      "epoch": 2.454,
+      "grad_norm": 5.427938938140869,
+      "learning_rate": 9.100000000000001e-06,
+      "loss": 1.9235,
+      "step": 613500
+    },
+    {
+      "epoch": 2.456,
+      "grad_norm": 3.424795150756836,
+      "learning_rate": 9.066666666666667e-06,
+      "loss": 1.874,
+      "step": 614000
+    },
+    {
+      "epoch": 2.458,
+      "grad_norm": 2.8467607498168945,
+      "learning_rate": 9.033333333333334e-06,
+      "loss": 1.8536,
+      "step": 614500
+    },
+    {
+      "epoch": 2.46,
+      "grad_norm": 2.978062868118286,
+      "learning_rate": 9e-06,
+      "loss": 1.8803,
+      "step": 615000
+    },
+    {
+      "epoch": 2.462,
+      "grad_norm": 5.436339855194092,
+      "learning_rate": 8.966666666666668e-06,
+      "loss": 1.8785,
+      "step": 615500
+    },
+    {
+      "epoch": 2.464,
+      "grad_norm": 1.8794487714767456,
+      "learning_rate": 8.933333333333333e-06,
+      "loss": 1.8593,
+      "step": 616000
+    },
+    {
+      "epoch": 2.466,
+      "grad_norm": 3.4503533840179443,
+      "learning_rate": 8.9e-06,
+      "loss": 1.867,
+      "step": 616500
+    },
+    {
+      "epoch": 2.468,
+      "grad_norm": 2.631411552429199,
+      "learning_rate": 8.866666666666668e-06,
+      "loss": 1.8725,
+      "step": 617000
+    },
+    {
+      "epoch": 2.4699999999999998,
+      "grad_norm": 6.06883430480957,
+      "learning_rate": 8.833333333333334e-06,
+      "loss": 1.8865,
+      "step": 617500
+    },
+    {
+      "epoch": 2.472,
+      "grad_norm": 3.6540019512176514,
+      "learning_rate": 8.8e-06,
+      "loss": 1.9046,
+      "step": 618000
+    },
+    {
+      "epoch": 2.474,
+      "grad_norm": 2.980518341064453,
+      "learning_rate": 8.766666666666667e-06,
+      "loss": 1.8854,
+      "step": 618500
+    },
+    {
+      "epoch": 2.476,
+      "grad_norm": 2.0326669216156006,
+      "learning_rate": 8.733333333333333e-06,
+      "loss": 1.832,
+      "step": 619000
+    },
+    {
+      "epoch": 2.4779999999999998,
+      "grad_norm": 2.8870391845703125,
+      "learning_rate": 8.7e-06,
+      "loss": 1.8247,
+      "step": 619500
+    },
+    {
+      "epoch": 2.48,
+      "grad_norm": 4.120845317840576,
+      "learning_rate": 8.666666666666668e-06,
+      "loss": 1.8905,
+      "step": 620000
+    },
+    {
+      "epoch": 2.482,
+      "grad_norm": 4.375402450561523,
+      "learning_rate": 8.633333333333334e-06,
+      "loss": 1.8321,
+      "step": 620500
+    },
+    {
+      "epoch": 2.484,
+      "grad_norm": 2.3824880123138428,
+      "learning_rate": 8.599999999999999e-06,
+      "loss": 1.9073,
+      "step": 621000
+    },
+    {
+      "epoch": 2.4859999999999998,
+      "grad_norm": 2.720569372177124,
+      "learning_rate": 8.566666666666667e-06,
+      "loss": 1.8597,
+      "step": 621500
+    },
+    {
+      "epoch": 2.488,
+      "grad_norm": 2.6215107440948486,
+      "learning_rate": 8.533333333333334e-06,
+      "loss": 1.9298,
+      "step": 622000
+    },
+    {
+      "epoch": 2.49,
+      "grad_norm": 3.2964539527893066,
+      "learning_rate": 8.500000000000002e-06,
+      "loss": 1.862,
+      "step": 622500
+    },
+    {
+      "epoch": 2.492,
+      "grad_norm": 3.0264010429382324,
+      "learning_rate": 8.466666666666666e-06,
+      "loss": 1.8335,
+      "step": 623000
+    },
+    {
+      "epoch": 2.4939999999999998,
+      "grad_norm": 3.0339627265930176,
+      "learning_rate": 8.433333333333333e-06,
+      "loss": 1.8592,
+      "step": 623500
+    },
+    {
+      "epoch": 2.496,
+      "grad_norm": 2.6013669967651367,
+      "learning_rate": 8.400000000000001e-06,
+      "loss": 1.9027,
+      "step": 624000
+    },
+    {
+      "epoch": 2.498,
+      "grad_norm": 2.994971752166748,
+      "learning_rate": 8.366666666666667e-06,
+      "loss": 1.8922,
+      "step": 624500
+    },
+    {
+      "epoch": 2.5,
+      "grad_norm": 2.7267160415649414,
+      "learning_rate": 8.333333333333334e-06,
+      "loss": 1.868,
+      "step": 625000
+    },
+    {
+      "epoch": 2.502,
+      "grad_norm": 4.416297435760498,
+      "learning_rate": 8.3e-06,
+      "loss": 1.8751,
+      "step": 625500
+    },
+    {
+      "epoch": 2.504,
+      "grad_norm": 3.436997652053833,
+      "learning_rate": 8.266666666666667e-06,
+      "loss": 1.889,
+      "step": 626000
+    },
+    {
+      "epoch": 2.5060000000000002,
+      "grad_norm": 3.987461566925049,
+      "learning_rate": 8.233333333333333e-06,
+      "loss": 1.9109,
+      "step": 626500
+    },
+    {
+      "epoch": 2.508,
+      "grad_norm": 3.127805233001709,
+      "learning_rate": 8.200000000000001e-06,
+      "loss": 1.8472,
+      "step": 627000
+    },
+    {
+      "epoch": 2.51,
+      "grad_norm": 3.108248472213745,
+      "learning_rate": 8.166666666666668e-06,
+      "loss": 1.9126,
+      "step": 627500
+    },
+    {
+      "epoch": 2.512,
+      "grad_norm": 2.689952850341797,
+      "learning_rate": 8.133333333333332e-06,
+      "loss": 1.8856,
+      "step": 628000
+    },
+    {
+      "epoch": 2.5140000000000002,
+      "grad_norm": 4.6352033615112305,
+      "learning_rate": 8.1e-06,
+      "loss": 1.8516,
+      "step": 628500
+    },
+    {
+      "epoch": 2.516,
+      "grad_norm": 3.287313222885132,
+      "learning_rate": 8.066666666666667e-06,
+      "loss": 1.9164,
+      "step": 629000
+    },
+    {
+      "epoch": 2.518,
+      "grad_norm": 4.914368629455566,
+      "learning_rate": 8.033333333333335e-06,
+      "loss": 1.8996,
+      "step": 629500
+    },
+    {
+      "epoch": 2.52,
+      "grad_norm": 2.392132043838501,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 1.8622,
+      "step": 630000
+    },
+    {
+      "epoch": 2.5220000000000002,
+      "grad_norm": 3.10549259185791,
+      "learning_rate": 7.966666666666666e-06,
+      "loss": 1.9089,
+      "step": 630500
+    },
+    {
+      "epoch": 2.524,
+      "grad_norm": 3.105255126953125,
+      "learning_rate": 7.933333333333334e-06,
+      "loss": 1.8842,
+      "step": 631000
+    },
+    {
+      "epoch": 2.526,
+      "grad_norm": 4.36549186706543,
+      "learning_rate": 7.9e-06,
+      "loss": 1.8433,
+      "step": 631500
+    },
+    {
+      "epoch": 2.528,
+      "grad_norm": 4.413882255554199,
+      "learning_rate": 7.866666666666667e-06,
+      "loss": 1.8941,
+      "step": 632000
+    },
+    {
+      "epoch": 2.5300000000000002,
+      "grad_norm": 1.928449273109436,
+      "learning_rate": 7.833333333333333e-06,
+      "loss": 1.8648,
+      "step": 632500
+    },
+    {
+      "epoch": 2.532,
+      "grad_norm": 4.413303852081299,
+      "learning_rate": 7.8e-06,
+      "loss": 1.8699,
+      "step": 633000
+    },
+    {
+      "epoch": 2.534,
+      "grad_norm": 3.7028002738952637,
+      "learning_rate": 7.766666666666666e-06,
+      "loss": 1.892,
+      "step": 633500
+    },
+    {
+      "epoch": 2.536,
+      "grad_norm": 2.7936835289001465,
+      "learning_rate": 7.733333333333334e-06,
+      "loss": 1.8817,
+      "step": 634000
+    },
+    {
+      "epoch": 2.5380000000000003,
+      "grad_norm": 3.6933412551879883,
+      "learning_rate": 7.7e-06,
+      "loss": 1.8423,
+      "step": 634500
+    },
+    {
+      "epoch": 2.54,
+      "grad_norm": 3.0467052459716797,
+      "learning_rate": 7.666666666666667e-06,
+      "loss": 1.8422,
+      "step": 635000
+    },
+    {
+      "epoch": 2.542,
+      "grad_norm": 1.9489444494247437,
+      "learning_rate": 7.633333333333334e-06,
+      "loss": 1.8713,
+      "step": 635500
+    },
+    {
+      "epoch": 2.544,
+      "grad_norm": 2.9168665409088135,
+      "learning_rate": 7.6e-06,
+      "loss": 1.8741,
+      "step": 636000
+    },
+    {
+      "epoch": 2.5460000000000003,
+      "grad_norm": 3.4203386306762695,
+      "learning_rate": 7.5666666666666665e-06,
+      "loss": 1.8308,
+      "step": 636500
+    },
+    {
+      "epoch": 2.548,
+      "grad_norm": 2.8358335494995117,
+      "learning_rate": 7.533333333333334e-06,
+      "loss": 1.8909,
+      "step": 637000
+    },
+    {
+      "epoch": 2.55,
+      "grad_norm": 3.406254291534424,
+      "learning_rate": 7.5e-06,
+      "loss": 1.8564,
+      "step": 637500
+    },
+    {
+      "epoch": 2.552,
+      "grad_norm": 2.576655387878418,
+      "learning_rate": 7.4666666666666675e-06,
+      "loss": 1.8583,
+      "step": 638000
+    },
+    {
+      "epoch": 2.5540000000000003,
+      "grad_norm": 4.063394069671631,
+      "learning_rate": 7.433333333333334e-06,
+      "loss": 1.8913,
+      "step": 638500
+    },
+    {
+      "epoch": 2.556,
+      "grad_norm": 2.8183672428131104,
+      "learning_rate": 7.4e-06,
+      "loss": 1.9312,
+      "step": 639000
+    },
+    {
+      "epoch": 2.558,
+      "grad_norm": 3.0902271270751953,
+      "learning_rate": 7.3666666666666676e-06,
+      "loss": 1.9171,
+      "step": 639500
+    },
+    {
+      "epoch": 2.56,
+      "grad_norm": 3.2803256511688232,
+      "learning_rate": 7.333333333333334e-06,
+      "loss": 1.9173,
+      "step": 640000
+    },
+    {
+      "epoch": 2.5620000000000003,
+      "grad_norm": 2.6414859294891357,
+      "learning_rate": 7.2999999999999996e-06,
+      "loss": 1.84,
+      "step": 640500
+    },
+    {
+      "epoch": 2.564,
+      "grad_norm": 3.431950569152832,
+      "learning_rate": 7.266666666666668e-06,
+      "loss": 1.8935,
+      "step": 641000
+    },
+    {
+      "epoch": 2.566,
+      "grad_norm": 3.556243419647217,
+      "learning_rate": 7.233333333333333e-06,
+      "loss": 1.8872,
+      "step": 641500
+    },
+    {
+      "epoch": 2.568,
+      "grad_norm": 2.9917585849761963,
+      "learning_rate": 7.2e-06,
+      "loss": 1.8785,
+      "step": 642000
+    },
+    {
+      "epoch": 2.57,
+      "grad_norm": 2.0157723426818848,
+      "learning_rate": 7.166666666666667e-06,
+      "loss": 1.9314,
+      "step": 642500
+    },
+    {
+      "epoch": 2.572,
+      "grad_norm": 3.5743918418884277,
+      "learning_rate": 7.133333333333333e-06,
+      "loss": 1.8509,
+      "step": 643000
+    },
+    {
+      "epoch": 2.574,
+      "grad_norm": 3.145385980606079,
+      "learning_rate": 7.1e-06,
+      "loss": 1.8937,
+      "step": 643500
+    },
+    {
+      "epoch": 2.576,
+      "grad_norm": 5.946051120758057,
+      "learning_rate": 7.066666666666667e-06,
+      "loss": 1.8461,
+      "step": 644000
+    },
+    {
+      "epoch": 2.578,
+      "grad_norm": 4.228523254394531,
+      "learning_rate": 7.0333333333333335e-06,
+      "loss": 1.8707,
+      "step": 644500
+    },
+    {
+      "epoch": 2.58,
+      "grad_norm": 3.083113670349121,
+      "learning_rate": 7.000000000000001e-06,
+      "loss": 1.8774,
+      "step": 645000
+    },
+    {
+      "epoch": 2.582,
+      "grad_norm": 3.1056864261627197,
+      "learning_rate": 6.966666666666667e-06,
+      "loss": 1.8693,
+      "step": 645500
+    },
+    {
+      "epoch": 2.584,
+      "grad_norm": 4.9116621017456055,
+      "learning_rate": 6.933333333333334e-06,
+      "loss": 1.8742,
+      "step": 646000
+    },
+    {
+      "epoch": 2.586,
+      "grad_norm": 2.5638844966888428,
+      "learning_rate": 6.900000000000001e-06,
+      "loss": 1.8612,
+      "step": 646500
+    },
+    {
+      "epoch": 2.588,
+      "grad_norm": 3.8515875339508057,
+      "learning_rate": 6.866666666666667e-06,
+      "loss": 1.8663,
+      "step": 647000
+    },
+    {
+      "epoch": 2.59,
+      "grad_norm": 5.321290493011475,
+      "learning_rate": 6.833333333333333e-06,
+      "loss": 1.8763,
+      "step": 647500
+    },
+    {
+      "epoch": 2.592,
+      "grad_norm": 2.7012779712677,
+      "learning_rate": 6.800000000000001e-06,
+      "loss": 1.9116,
+      "step": 648000
+    },
+    {
+      "epoch": 2.594,
+      "grad_norm": 2.7859761714935303,
+      "learning_rate": 6.766666666666667e-06,
+      "loss": 1.8571,
+      "step": 648500
+    },
+    {
+      "epoch": 2.596,
+      "grad_norm": 3.347858428955078,
+      "learning_rate": 6.733333333333333e-06,
+      "loss": 1.907,
+      "step": 649000
+    },
+    {
+      "epoch": 2.598,
+      "grad_norm": 3.5790727138519287,
+      "learning_rate": 6.700000000000001e-06,
+      "loss": 1.9023,
+      "step": 649500
+    },
+    {
+      "epoch": 2.6,
+      "grad_norm": 4.641330242156982,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 1.9167,
+      "step": 650000
+    },
+    {
+      "epoch": 2.602,
+      "grad_norm": 5.059780597686768,
+      "learning_rate": 6.633333333333333e-06,
+      "loss": 1.9566,
+      "step": 650500
+    },
+    {
+      "epoch": 2.604,
+      "grad_norm": 2.7773430347442627,
+      "learning_rate": 6.6e-06,
+      "loss": 1.8656,
+      "step": 651000
+    },
+    {
+      "epoch": 2.606,
+      "grad_norm": 3.263288736343384,
+      "learning_rate": 6.566666666666667e-06,
+      "loss": 1.872,
+      "step": 651500
+    },
+    {
+      "epoch": 2.608,
+      "grad_norm": 3.293905258178711,
+      "learning_rate": 6.533333333333333e-06,
+      "loss": 1.8372,
+      "step": 652000
+    },
+    {
+      "epoch": 2.61,
+      "grad_norm": 3.077204942703247,
+      "learning_rate": 6.5000000000000004e-06,
+      "loss": 1.8536,
+      "step": 652500
+    },
+    {
+      "epoch": 2.612,
+      "grad_norm": 3.416551351547241,
+      "learning_rate": 6.466666666666667e-06,
+      "loss": 1.8844,
+      "step": 653000
+    },
+    {
+      "epoch": 2.614,
+      "grad_norm": 4.306375026702881,
+      "learning_rate": 6.433333333333334e-06,
+      "loss": 1.9029,
+      "step": 653500
+    },
+    {
+      "epoch": 2.616,
+      "grad_norm": 2.501620292663574,
+      "learning_rate": 6.4000000000000006e-06,
+      "loss": 1.8938,
+      "step": 654000
+    },
+    {
+      "epoch": 2.618,
+      "grad_norm": 2.192352771759033,
+      "learning_rate": 6.366666666666667e-06,
+      "loss": 1.8985,
+      "step": 654500
+    },
+    {
+      "epoch": 2.62,
+      "grad_norm": 5.223537921905518,
+      "learning_rate": 6.333333333333334e-06,
+      "loss": 1.8473,
+      "step": 655000
+    },
+    {
+      "epoch": 2.622,
+      "grad_norm": 3.3766655921936035,
+      "learning_rate": 6.300000000000001e-06,
+      "loss": 1.8564,
+      "step": 655500
+    },
+    {
+      "epoch": 2.624,
+      "grad_norm": 4.073780536651611,
+      "learning_rate": 6.266666666666666e-06,
+      "loss": 1.8498,
+      "step": 656000
+    },
+    {
+      "epoch": 2.626,
+      "grad_norm": 2.6815459728240967,
+      "learning_rate": 6.2333333333333335e-06,
+      "loss": 1.8989,
+      "step": 656500
+    },
+    {
+      "epoch": 2.628,
+      "grad_norm": 3.543757915496826,
+      "learning_rate": 6.2e-06,
+      "loss": 1.871,
+      "step": 657000
+    },
+    {
+      "epoch": 2.63,
+      "grad_norm": 3.6465091705322266,
+      "learning_rate": 6.166666666666667e-06,
+      "loss": 1.9044,
+      "step": 657500
+    },
+    {
+      "epoch": 2.632,
+      "grad_norm": 3.619927167892456,
+      "learning_rate": 6.133333333333334e-06,
+      "loss": 1.8821,
+      "step": 658000
+    },
+    {
+      "epoch": 2.634,
+      "grad_norm": 3.724942207336426,
+      "learning_rate": 6.1e-06,
+      "loss": 1.8779,
+      "step": 658500
+    },
+    {
+      "epoch": 2.636,
+      "grad_norm": 4.038952827453613,
+      "learning_rate": 6.066666666666667e-06,
+      "loss": 1.9313,
+      "step": 659000
+    },
+    {
+      "epoch": 2.638,
+      "grad_norm": 2.9567649364471436,
+      "learning_rate": 6.033333333333334e-06,
+      "loss": 1.8617,
+      "step": 659500
+    },
+    {
+      "epoch": 2.64,
+      "grad_norm": 5.773310661315918,
+      "learning_rate": 6e-06,
+      "loss": 1.9206,
+      "step": 660000
+    },
+    {
+      "epoch": 2.642,
+      "grad_norm": 2.9293549060821533,
+      "learning_rate": 5.9666666666666666e-06,
+      "loss": 1.8501,
+      "step": 660500
+    },
+    {
+      "epoch": 2.644,
+      "grad_norm": 2.4616734981536865,
+      "learning_rate": 5.933333333333334e-06,
+      "loss": 1.8543,
+      "step": 661000
+    },
+    {
+      "epoch": 2.646,
+      "grad_norm": 2.237765073776245,
+      "learning_rate": 5.9e-06,
+      "loss": 1.9431,
+      "step": 661500
+    },
+    {
+      "epoch": 2.648,
+      "grad_norm": 2.2172420024871826,
+      "learning_rate": 5.866666666666667e-06,
+      "loss": 1.893,
+      "step": 662000
+    },
+    {
+      "epoch": 2.65,
+      "grad_norm": 3.7040140628814697,
+      "learning_rate": 5.833333333333334e-06,
+      "loss": 1.8742,
+      "step": 662500
+    },
+    {
+      "epoch": 2.652,
+      "grad_norm": 3.914787530899048,
+      "learning_rate": 5.8e-06,
+      "loss": 1.9271,
+      "step": 663000
+    },
+    {
+      "epoch": 2.654,
+      "grad_norm": 4.496729850769043,
+      "learning_rate": 5.766666666666667e-06,
+      "loss": 1.9143,
+      "step": 663500
+    },
+    {
+      "epoch": 2.656,
+      "grad_norm": 3.6321325302124023,
+      "learning_rate": 5.733333333333333e-06,
+      "loss": 1.8792,
+      "step": 664000
+    },
+    {
+      "epoch": 2.658,
+      "grad_norm": 2.219710350036621,
+      "learning_rate": 5.7000000000000005e-06,
+      "loss": 1.8786,
+      "step": 664500
+    },
+    {
+      "epoch": 2.66,
+      "grad_norm": 3.3534481525421143,
+      "learning_rate": 5.666666666666667e-06,
+      "loss": 1.8897,
+      "step": 665000
+    },
+    {
+      "epoch": 2.662,
+      "grad_norm": 2.505182981491089,
+      "learning_rate": 5.633333333333333e-06,
+      "loss": 1.8787,
+      "step": 665500
+    },
+    {
+      "epoch": 2.664,
+      "grad_norm": 2.429156541824341,
+      "learning_rate": 5.600000000000001e-06,
+      "loss": 1.9101,
+      "step": 666000
+    },
+    {
+      "epoch": 2.666,
+      "grad_norm": 2.7629823684692383,
+      "learning_rate": 5.566666666666667e-06,
+      "loss": 1.8969,
+      "step": 666500
+    },
+    {
+      "epoch": 2.668,
+      "grad_norm": 2.949223279953003,
+      "learning_rate": 5.5333333333333334e-06,
+      "loss": 1.9275,
+      "step": 667000
+    },
+    {
+      "epoch": 2.67,
+      "grad_norm": 2.6248672008514404,
+      "learning_rate": 5.500000000000001e-06,
+      "loss": 1.931,
+      "step": 667500
+    },
+    {
+      "epoch": 2.672,
+      "grad_norm": 2.91471529006958,
+      "learning_rate": 5.466666666666667e-06,
+      "loss": 1.8849,
+      "step": 668000
+    },
+    {
+      "epoch": 2.674,
+      "grad_norm": 3.159327983856201,
+      "learning_rate": 5.4333333333333335e-06,
+      "loss": 1.8682,
+      "step": 668500
+    },
+    {
+      "epoch": 2.676,
+      "grad_norm": 4.286912441253662,
+      "learning_rate": 5.4e-06,
+      "loss": 1.892,
+      "step": 669000
+    },
+    {
+      "epoch": 2.678,
+      "grad_norm": 5.190775394439697,
+      "learning_rate": 5.366666666666667e-06,
+      "loss": 1.8521,
+      "step": 669500
+    },
+    {
+      "epoch": 2.68,
+      "grad_norm": 2.9026002883911133,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 1.9133,
+      "step": 670000
+    },
+    {
+      "epoch": 2.682,
+      "grad_norm": 3.2781126499176025,
+      "learning_rate": 5.3e-06,
+      "loss": 1.8533,
+      "step": 670500
+    },
+    {
+      "epoch": 2.684,
+      "grad_norm": 2.569183349609375,
+      "learning_rate": 5.266666666666667e-06,
+      "loss": 1.8538,
+      "step": 671000
+    },
+    {
+      "epoch": 2.686,
+      "grad_norm": 3.1960971355438232,
+      "learning_rate": 5.233333333333334e-06,
+      "loss": 1.9273,
+      "step": 671500
+    },
+    {
+      "epoch": 2.6879999999999997,
+      "grad_norm": 4.6884870529174805,
+      "learning_rate": 5.2e-06,
+      "loss": 1.8714,
+      "step": 672000
+    },
+    {
+      "epoch": 2.69,
+      "grad_norm": 2.3329176902770996,
+      "learning_rate": 5.166666666666667e-06,
+      "loss": 1.8797,
+      "step": 672500
+    },
+    {
+      "epoch": 2.692,
+      "grad_norm": 2.7218334674835205,
+      "learning_rate": 5.133333333333334e-06,
+      "loss": 1.8643,
+      "step": 673000
+    },
+    {
+      "epoch": 2.694,
+      "grad_norm": 3.568103313446045,
+      "learning_rate": 5.1e-06,
+      "loss": 1.9037,
+      "step": 673500
+    },
+    {
+      "epoch": 2.6959999999999997,
+      "grad_norm": 3.6968801021575928,
+      "learning_rate": 5.066666666666667e-06,
+      "loss": 1.9357,
+      "step": 674000
+    },
+    {
+      "epoch": 2.698,
+      "grad_norm": 3.1816065311431885,
+      "learning_rate": 5.033333333333334e-06,
+      "loss": 2.0061,
+      "step": 674500
+    },
+    {
+      "epoch": 2.7,
+      "grad_norm": 2.1746315956115723,
+      "learning_rate": 5e-06,
+      "loss": 1.8365,
+      "step": 675000
+    },
+    {
+      "epoch": 2.702,
+      "grad_norm": 2.9095511436462402,
+      "learning_rate": 4.966666666666667e-06,
+      "loss": 1.8734,
+      "step": 675500
+    },
+    {
+      "epoch": 2.7039999999999997,
+      "grad_norm": 2.8963634967803955,
+      "learning_rate": 4.933333333333333e-06,
+      "loss": 1.8695,
+      "step": 676000
+    },
+    {
+      "epoch": 2.706,
+      "grad_norm": 2.6536638736724854,
+      "learning_rate": 4.9000000000000005e-06,
+      "loss": 1.8506,
+      "step": 676500
+    },
+    {
+      "epoch": 2.708,
+      "grad_norm": 3.057424783706665,
+      "learning_rate": 4.866666666666667e-06,
+      "loss": 1.9007,
+      "step": 677000
+    },
+    {
+      "epoch": 2.71,
+      "grad_norm": 2.339240550994873,
+      "learning_rate": 4.833333333333333e-06,
+      "loss": 1.9088,
+      "step": 677500
+    },
+    {
+      "epoch": 2.7119999999999997,
+      "grad_norm": 4.8444671630859375,
+      "learning_rate": 4.800000000000001e-06,
+      "loss": 1.8862,
+      "step": 678000
+    },
+    {
+      "epoch": 2.714,
+      "grad_norm": 4.375866413116455,
+      "learning_rate": 4.766666666666667e-06,
+      "loss": 1.8701,
+      "step": 678500
+    },
+    {
+      "epoch": 2.716,
+      "grad_norm": 3.7420687675476074,
+      "learning_rate": 4.7333333333333335e-06,
+      "loss": 1.9296,
+      "step": 679000
+    },
+    {
+      "epoch": 2.718,
+      "grad_norm": 1.8531460762023926,
+      "learning_rate": 4.7e-06,
+      "loss": 1.895,
+      "step": 679500
+    },
+    {
+      "epoch": 2.7199999999999998,
+      "grad_norm": 3.4381535053253174,
+      "learning_rate": 4.666666666666667e-06,
+      "loss": 1.8961,
+      "step": 680000
+    },
+    {
+      "epoch": 2.722,
+      "grad_norm": 3.2771215438842773,
+      "learning_rate": 4.633333333333334e-06,
+      "loss": 1.8786,
+      "step": 680500
+    },
+    {
+      "epoch": 2.724,
+      "grad_norm": 3.374859094619751,
+      "learning_rate": 4.6e-06,
+      "loss": 1.9132,
+      "step": 681000
+    },
+    {
+      "epoch": 2.726,
+      "grad_norm": 2.9684982299804688,
+      "learning_rate": 4.566666666666667e-06,
+      "loss": 1.8955,
+      "step": 681500
+    },
+    {
+      "epoch": 2.7279999999999998,
+      "grad_norm": 2.923057794570923,
+      "learning_rate": 4.533333333333334e-06,
+      "loss": 1.8509,
+      "step": 682000
+    },
+    {
+      "epoch": 2.73,
+      "grad_norm": 3.275190830230713,
+      "learning_rate": 4.5e-06,
+      "loss": 1.8985,
+      "step": 682500
+    },
+    {
+      "epoch": 2.732,
+      "grad_norm": 3.1415112018585205,
+      "learning_rate": 4.4666666666666665e-06,
+      "loss": 1.8938,
+      "step": 683000
+    },
+    {
+      "epoch": 2.734,
+      "grad_norm": 4.726484298706055,
+      "learning_rate": 4.433333333333334e-06,
+      "loss": 1.894,
+      "step": 683500
+    },
+    {
+      "epoch": 2.7359999999999998,
+      "grad_norm": 3.5498578548431396,
+      "learning_rate": 4.4e-06,
+      "loss": 1.8895,
+      "step": 684000
+    },
+    {
+      "epoch": 2.738,
+      "grad_norm": 4.273956775665283,
+      "learning_rate": 4.366666666666667e-06,
+      "loss": 1.9009,
+      "step": 684500
+    },
+    {
+      "epoch": 2.74,
+      "grad_norm": 3.276571273803711,
+      "learning_rate": 4.333333333333334e-06,
+      "loss": 1.8943,
+      "step": 685000
+    },
+    {
+      "epoch": 2.742,
+      "grad_norm": 3.2255356311798096,
+      "learning_rate": 4.2999999999999995e-06,
+      "loss": 1.924,
+      "step": 685500
+    },
+    {
+      "epoch": 2.7439999999999998,
+      "grad_norm": 3.6334052085876465,
+      "learning_rate": 4.266666666666667e-06,
+      "loss": 1.8437,
+      "step": 686000
+    },
+    {
+      "epoch": 2.746,
+      "grad_norm": 2.3026280403137207,
+      "learning_rate": 4.233333333333333e-06,
+      "loss": 1.9063,
+      "step": 686500
+    },
+    {
+      "epoch": 2.748,
+      "grad_norm": 2.8906328678131104,
+      "learning_rate": 4.2000000000000004e-06,
+      "loss": 1.8796,
+      "step": 687000
+    },
+    {
+      "epoch": 2.75,
+      "grad_norm": 3.116187334060669,
+      "learning_rate": 4.166666666666667e-06,
+      "loss": 1.9125,
+      "step": 687500
+    },
+    {
+      "epoch": 2.752,
+      "grad_norm": 2.7661359310150146,
+      "learning_rate": 4.133333333333333e-06,
+      "loss": 1.9462,
+      "step": 688000
+    },
+    {
+      "epoch": 2.754,
+      "grad_norm": 3.3297812938690186,
+      "learning_rate": 4.1000000000000006e-06,
+      "loss": 1.8935,
+      "step": 688500
+    },
+    {
+      "epoch": 2.7560000000000002,
+      "grad_norm": 2.6931254863739014,
+      "learning_rate": 4.066666666666666e-06,
+      "loss": 1.8205,
+      "step": 689000
+    },
+    {
+      "epoch": 2.758,
+      "grad_norm": 2.2474148273468018,
+      "learning_rate": 4.033333333333333e-06,
+      "loss": 1.9069,
+      "step": 689500
+    },
+    {
+      "epoch": 2.76,
+      "grad_norm": 1.9933154582977295,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 1.8686,
+      "step": 690000
+    },
+    {
+      "epoch": 2.762,
+      "grad_norm": 2.461827516555786,
+      "learning_rate": 3.966666666666667e-06,
+      "loss": 1.8009,
+      "step": 690500
+    },
+    {
+      "epoch": 2.7640000000000002,
+      "grad_norm": 3.75205397605896,
+      "learning_rate": 3.9333333333333335e-06,
+      "loss": 1.8483,
+      "step": 691000
+    },
+    {
+      "epoch": 2.766,
+      "grad_norm": 3.3759922981262207,
+      "learning_rate": 3.9e-06,
+      "loss": 1.8769,
+      "step": 691500
+    },
+    {
+      "epoch": 2.768,
+      "grad_norm": 4.364626884460449,
+      "learning_rate": 3.866666666666667e-06,
+      "loss": 1.8619,
+      "step": 692000
+    },
+    {
+      "epoch": 2.77,
+      "grad_norm": 4.0554633140563965,
+      "learning_rate": 3.833333333333334e-06,
+      "loss": 1.872,
+      "step": 692500
+    },
+    {
+      "epoch": 2.7720000000000002,
+      "grad_norm": 3.803511381149292,
+      "learning_rate": 3.8e-06,
+      "loss": 1.8582,
+      "step": 693000
+    },
+    {
+      "epoch": 2.774,
+      "grad_norm": 2.885103464126587,
+      "learning_rate": 3.766666666666667e-06,
+      "loss": 1.9041,
+      "step": 693500
+    },
+    {
+      "epoch": 2.776,
+      "grad_norm": 5.55342435836792,
+      "learning_rate": 3.7333333333333337e-06,
+      "loss": 1.8881,
+      "step": 694000
+    },
+    {
+      "epoch": 2.778,
+      "grad_norm": 3.852508306503296,
+      "learning_rate": 3.7e-06,
+      "loss": 1.9092,
+      "step": 694500
+    },
+    {
+      "epoch": 2.7800000000000002,
+      "grad_norm": 3.4544615745544434,
+      "learning_rate": 3.666666666666667e-06,
+      "loss": 1.8667,
+      "step": 695000
+    },
+    {
+      "epoch": 2.782,
+      "grad_norm": 3.607158660888672,
+      "learning_rate": 3.633333333333334e-06,
+      "loss": 1.8646,
+      "step": 695500
+    },
+    {
+      "epoch": 2.784,
+      "grad_norm": 4.708215236663818,
+      "learning_rate": 3.6e-06,
+      "loss": 1.9006,
+      "step": 696000
+    },
+    {
+      "epoch": 2.786,
+      "grad_norm": 3.173060655593872,
+      "learning_rate": 3.5666666666666667e-06,
+      "loss": 1.8191,
+      "step": 696500
+    },
+    {
+      "epoch": 2.7880000000000003,
+      "grad_norm": 3.328235387802124,
+      "learning_rate": 3.5333333333333335e-06,
+      "loss": 1.8772,
+      "step": 697000
+    },
+    {
+      "epoch": 2.79,
+      "grad_norm": 4.168435096740723,
+      "learning_rate": 3.5000000000000004e-06,
+      "loss": 1.8957,
+      "step": 697500
+    },
+    {
+      "epoch": 2.792,
+      "grad_norm": 1.336233377456665,
+      "learning_rate": 3.466666666666667e-06,
+      "loss": 1.8777,
+      "step": 698000
+    },
+    {
+      "epoch": 2.794,
+      "grad_norm": 3.9781460762023926,
+      "learning_rate": 3.4333333333333336e-06,
+      "loss": 1.8889,
+      "step": 698500
+    },
+    {
+      "epoch": 2.7960000000000003,
+      "grad_norm": 3.8768365383148193,
+      "learning_rate": 3.4000000000000005e-06,
+      "loss": 1.8395,
+      "step": 699000
+    },
+    {
+      "epoch": 2.798,
+      "grad_norm": 2.8166561126708984,
+      "learning_rate": 3.3666666666666665e-06,
+      "loss": 1.8927,
+      "step": 699500
+    },
+    {
+      "epoch": 2.8,
+      "grad_norm": 3.0701918601989746,
+      "learning_rate": 3.3333333333333333e-06,
+      "loss": 1.8829,
+      "step": 700000
+    },
+    {
+      "epoch": 2.802,
+      "grad_norm": 4.882094860076904,
+      "learning_rate": 3.3e-06,
+      "loss": 1.872,
+      "step": 700500
+    },
+    {
+      "epoch": 2.8040000000000003,
+      "grad_norm": 3.2382917404174805,
+      "learning_rate": 3.2666666666666666e-06,
+      "loss": 1.806,
+      "step": 701000
+    },
+    {
+      "epoch": 2.806,
+      "grad_norm": 3.6363778114318848,
+      "learning_rate": 3.2333333333333334e-06,
+      "loss": 1.9015,
+      "step": 701500
+    },
+    {
+      "epoch": 2.808,
+      "grad_norm": 3.6446800231933594,
+      "learning_rate": 3.2000000000000003e-06,
+      "loss": 1.8551,
+      "step": 702000
+    },
+    {
+      "epoch": 2.81,
+      "grad_norm": 2.472050189971924,
+      "learning_rate": 3.166666666666667e-06,
+      "loss": 1.8831,
+      "step": 702500
+    },
+    {
+      "epoch": 2.8120000000000003,
+      "grad_norm": 1.4477039575576782,
+      "learning_rate": 3.133333333333333e-06,
+      "loss": 1.8571,
+      "step": 703000
+    },
+    {
+      "epoch": 2.814,
+      "grad_norm": 3.0914952754974365,
+      "learning_rate": 3.1e-06,
+      "loss": 1.8771,
+      "step": 703500
+    },
+    {
+      "epoch": 2.816,
+      "grad_norm": 3.063697099685669,
+      "learning_rate": 3.066666666666667e-06,
+      "loss": 1.8898,
+      "step": 704000
+    },
+    {
+      "epoch": 2.818,
+      "grad_norm": 3.131847858428955,
+      "learning_rate": 3.0333333333333337e-06,
+      "loss": 1.8933,
+      "step": 704500
+    },
+    {
+      "epoch": 2.82,
+      "grad_norm": 3.0374350547790527,
+      "learning_rate": 3e-06,
+      "loss": 1.8895,
+      "step": 705000
+    },
+    {
+      "epoch": 2.822,
+      "grad_norm": 3.479525327682495,
+      "learning_rate": 2.966666666666667e-06,
+      "loss": 1.8629,
+      "step": 705500
+    },
+    {
+      "epoch": 2.824,
+      "grad_norm": 3.781367301940918,
+      "learning_rate": 2.9333333333333333e-06,
+      "loss": 1.865,
+      "step": 706000
+    },
+    {
+      "epoch": 2.826,
+      "grad_norm": 3.139104127883911,
+      "learning_rate": 2.9e-06,
+      "loss": 1.8914,
+      "step": 706500
+    },
+    {
+      "epoch": 2.828,
+      "grad_norm": 2.448465585708618,
+      "learning_rate": 2.8666666666666666e-06,
+      "loss": 1.9189,
+      "step": 707000
+    },
+    {
+      "epoch": 2.83,
+      "grad_norm": 2.543330192565918,
+      "learning_rate": 2.8333333333333335e-06,
+      "loss": 1.8773,
+      "step": 707500
+    },
+    {
+      "epoch": 2.832,
+      "grad_norm": 2.5747554302215576,
+      "learning_rate": 2.8000000000000003e-06,
+      "loss": 1.8879,
+      "step": 708000
+    },
+    {
+      "epoch": 2.834,
+      "grad_norm": 3.935971975326538,
+      "learning_rate": 2.7666666666666667e-06,
+      "loss": 1.8781,
+      "step": 708500
+    },
+    {
+      "epoch": 2.836,
+      "grad_norm": 5.765059947967529,
+      "learning_rate": 2.7333333333333336e-06,
+      "loss": 1.9233,
+      "step": 709000
+    },
+    {
+      "epoch": 2.838,
+      "grad_norm": 2.88075852394104,
+      "learning_rate": 2.7e-06,
+      "loss": 1.8694,
+      "step": 709500
+    },
+    {
+      "epoch": 2.84,
+      "grad_norm": 3.8271071910858154,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 1.9014,
+      "step": 710000
+    },
+    {
+      "epoch": 2.842,
+      "grad_norm": 3.081481695175171,
+      "learning_rate": 2.6333333333333337e-06,
+      "loss": 1.8843,
+      "step": 710500
+    },
+    {
+      "epoch": 2.844,
+      "grad_norm": 4.267486572265625,
+      "learning_rate": 2.6e-06,
+      "loss": 1.9062,
+      "step": 711000
+    },
+    {
+      "epoch": 2.846,
+      "grad_norm": 2.9984750747680664,
+      "learning_rate": 2.566666666666667e-06,
+      "loss": 1.9176,
+      "step": 711500
+    },
+    {
+      "epoch": 2.848,
+      "grad_norm": 4.184579372406006,
+      "learning_rate": 2.5333333333333334e-06,
+      "loss": 1.9378,
+      "step": 712000
+    },
+    {
+      "epoch": 2.85,
+      "grad_norm": 5.722200393676758,
+      "learning_rate": 2.5e-06,
+      "loss": 1.9227,
+      "step": 712500
+    },
+    {
+      "epoch": 2.852,
+      "grad_norm": 4.274919033050537,
+      "learning_rate": 2.4666666666666666e-06,
+      "loss": 1.924,
+      "step": 713000
+    },
+    {
+      "epoch": 2.854,
+      "grad_norm": 4.337162494659424,
+      "learning_rate": 2.4333333333333335e-06,
+      "loss": 1.9143,
+      "step": 713500
+    },
+    {
+      "epoch": 2.856,
+      "grad_norm": 2.632171392440796,
+      "learning_rate": 2.4000000000000003e-06,
+      "loss": 1.858,
+      "step": 714000
+    },
+    {
+      "epoch": 2.858,
+      "grad_norm": 3.834346294403076,
+      "learning_rate": 2.3666666666666667e-06,
+      "loss": 1.8872,
+      "step": 714500
+    },
+    {
+      "epoch": 2.86,
+      "grad_norm": 2.2637805938720703,
+      "learning_rate": 2.3333333333333336e-06,
+      "loss": 1.8588,
+      "step": 715000
+    },
+    {
+      "epoch": 2.862,
+      "grad_norm": 4.327826976776123,
+      "learning_rate": 2.3e-06,
+      "loss": 1.8092,
+      "step": 715500
+    },
+    {
+      "epoch": 2.864,
+      "grad_norm": 2.888615369796753,
+      "learning_rate": 2.266666666666667e-06,
+      "loss": 1.8602,
+      "step": 716000
+    },
+    {
+      "epoch": 2.866,
+      "grad_norm": 4.713193416595459,
+      "learning_rate": 2.2333333333333333e-06,
+      "loss": 1.8584,
+      "step": 716500
+    },
+    {
+      "epoch": 2.868,
+      "grad_norm": 3.606935501098633,
+      "learning_rate": 2.2e-06,
+      "loss": 1.8967,
+      "step": 717000
+    },
+    {
+      "epoch": 2.87,
+      "grad_norm": 2.1838111877441406,
+      "learning_rate": 2.166666666666667e-06,
+      "loss": 1.8946,
+      "step": 717500
+    },
+    {
+      "epoch": 2.872,
+      "grad_norm": 3.7687795162200928,
+      "learning_rate": 2.1333333333333334e-06,
+      "loss": 1.9139,
+      "step": 718000
+    },
+    {
+      "epoch": 2.874,
+      "grad_norm": 7.575896739959717,
+      "learning_rate": 2.1000000000000002e-06,
+      "loss": 1.8402,
+      "step": 718500
+    },
+    {
+      "epoch": 2.876,
+      "grad_norm": 5.441267967224121,
+      "learning_rate": 2.0666666666666666e-06,
+      "loss": 1.8831,
+      "step": 719000
+    },
+    {
+      "epoch": 2.878,
+      "grad_norm": 3.8765416145324707,
+      "learning_rate": 2.033333333333333e-06,
+      "loss": 1.8554,
+      "step": 719500
+    },
+    {
+      "epoch": 2.88,
+      "grad_norm": 3.4756643772125244,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 1.8842,
+      "step": 720000
+    },
+    {
+      "epoch": 2.882,
+      "grad_norm": 2.9635679721832275,
+      "learning_rate": 1.9666666666666668e-06,
+      "loss": 1.9283,
+      "step": 720500
+    },
+    {
+      "epoch": 2.884,
+      "grad_norm": 2.5824897289276123,
+      "learning_rate": 1.9333333333333336e-06,
+      "loss": 1.9019,
+      "step": 721000
+    },
+    {
+      "epoch": 2.886,
+      "grad_norm": 3.4831085205078125,
+      "learning_rate": 1.9e-06,
+      "loss": 1.8591,
+      "step": 721500
+    },
+    {
+      "epoch": 2.888,
+      "grad_norm": 3.385176181793213,
+      "learning_rate": 1.8666666666666669e-06,
+      "loss": 1.9048,
+      "step": 722000
+    },
+    {
+      "epoch": 2.89,
+      "grad_norm": 3.2539241313934326,
+      "learning_rate": 1.8333333333333335e-06,
+      "loss": 1.895,
+      "step": 722500
+    },
+    {
+      "epoch": 2.892,
+      "grad_norm": 5.749492645263672,
+      "learning_rate": 1.8e-06,
+      "loss": 1.9309,
+      "step": 723000
+    },
+    {
+      "epoch": 2.894,
+      "grad_norm": 2.7174322605133057,
+      "learning_rate": 1.7666666666666668e-06,
+      "loss": 1.8445,
+      "step": 723500
+    },
+    {
+      "epoch": 2.896,
+      "grad_norm": 2.7712209224700928,
+      "learning_rate": 1.7333333333333334e-06,
+      "loss": 1.9178,
+      "step": 724000
+    },
+    {
+      "epoch": 2.898,
+      "grad_norm": 1.3377387523651123,
+      "learning_rate": 1.7000000000000002e-06,
+      "loss": 1.8638,
+      "step": 724500
+    },
+    {
+      "epoch": 2.9,
+      "grad_norm": 3.467402935028076,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 1.9449,
+      "step": 725000
+    },
+    {
+      "epoch": 2.902,
+      "grad_norm": 3.3706672191619873,
+      "learning_rate": 1.6333333333333333e-06,
+      "loss": 1.9124,
+      "step": 725500
+    },
+    {
+      "epoch": 2.904,
+      "grad_norm": 3.8773839473724365,
+      "learning_rate": 1.6000000000000001e-06,
+      "loss": 1.9136,
+      "step": 726000
+    },
+    {
+      "epoch": 2.906,
+      "grad_norm": 4.234633445739746,
+      "learning_rate": 1.5666666666666666e-06,
+      "loss": 1.9176,
+      "step": 726500
+    },
+    {
+      "epoch": 2.908,
+      "grad_norm": 5.16817569732666,
+      "learning_rate": 1.5333333333333334e-06,
+      "loss": 1.8742,
+      "step": 727000
+    },
+    {
+      "epoch": 2.91,
+      "grad_norm": 3.343552827835083,
+      "learning_rate": 1.5e-06,
+      "loss": 1.863,
+      "step": 727500
+    },
+    {
+      "epoch": 2.912,
+      "grad_norm": 2.861416816711426,
+      "learning_rate": 1.4666666666666667e-06,
+      "loss": 1.8693,
+      "step": 728000
+    },
+    {
+      "epoch": 2.914,
+      "grad_norm": 3.7512595653533936,
+      "learning_rate": 1.4333333333333333e-06,
+      "loss": 1.9071,
+      "step": 728500
+    },
+    {
+      "epoch": 2.916,
+      "grad_norm": 2.6083507537841797,
+      "learning_rate": 1.4000000000000001e-06,
+      "loss": 1.8977,
+      "step": 729000
+    },
+    {
+      "epoch": 2.918,
+      "grad_norm": 3.132286548614502,
+      "learning_rate": 1.3666666666666668e-06,
+      "loss": 1.9353,
+      "step": 729500
+    },
+    {
+      "epoch": 2.92,
+      "grad_norm": 3.0331499576568604,
+      "learning_rate": 1.3333333333333334e-06,
+      "loss": 1.8482,
+      "step": 730000
+    },
+    {
+      "epoch": 2.922,
+      "grad_norm": 3.1883797645568848,
+      "learning_rate": 1.3e-06,
+      "loss": 1.8904,
+      "step": 730500
+    },
+    {
+      "epoch": 2.924,
+      "grad_norm": 3.809069871902466,
+      "learning_rate": 1.2666666666666667e-06,
+      "loss": 1.8232,
+      "step": 731000
+    },
+    {
+      "epoch": 2.926,
+      "grad_norm": 2.1572530269622803,
+      "learning_rate": 1.2333333333333333e-06,
+      "loss": 1.8619,
+      "step": 731500
+    },
+    {
+      "epoch": 2.928,
+      "grad_norm": 3.737730026245117,
+      "learning_rate": 1.2000000000000002e-06,
+      "loss": 1.8671,
+      "step": 732000
+    },
+    {
+      "epoch": 2.93,
+      "grad_norm": 3.6985459327697754,
+      "learning_rate": 1.1666666666666668e-06,
+      "loss": 1.8908,
+      "step": 732500
+    },
+    {
+      "epoch": 2.932,
+      "grad_norm": 3.3398325443267822,
+      "learning_rate": 1.1333333333333334e-06,
+      "loss": 1.8751,
+      "step": 733000
+    },
+    {
+      "epoch": 2.934,
+      "grad_norm": 3.314117908477783,
+      "learning_rate": 1.1e-06,
+      "loss": 1.832,
+      "step": 733500
+    },
+    {
+      "epoch": 2.936,
+      "grad_norm": 2.206191062927246,
+      "learning_rate": 1.0666666666666667e-06,
+      "loss": 1.8902,
+      "step": 734000
+    },
+    {
+      "epoch": 2.9379999999999997,
+      "grad_norm": 4.159761905670166,
+      "learning_rate": 1.0333333333333333e-06,
+      "loss": 1.8915,
+      "step": 734500
+    },
+    {
+      "epoch": 2.94,
+      "grad_norm": 2.5982918739318848,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 1.9171,
+      "step": 735000
+    },
+    {
+      "epoch": 2.942,
+      "grad_norm": 2.9663453102111816,
+      "learning_rate": 9.666666666666668e-07,
+      "loss": 1.9466,
+      "step": 735500
+    },
+    {
+      "epoch": 2.944,
+      "grad_norm": 2.447366952896118,
+      "learning_rate": 9.333333333333334e-07,
+      "loss": 1.8575,
+      "step": 736000
+    },
+    {
+      "epoch": 2.9459999999999997,
+      "grad_norm": 1.9691654443740845,
+      "learning_rate": 9e-07,
+      "loss": 1.86,
+      "step": 736500
+    },
+    {
+      "epoch": 2.948,
+      "grad_norm": 4.8213934898376465,
+      "learning_rate": 8.666666666666667e-07,
+      "loss": 1.9459,
+      "step": 737000
+    },
+    {
+      "epoch": 2.95,
+      "grad_norm": 5.141754627227783,
+      "learning_rate": 8.333333333333333e-07,
+      "loss": 1.8701,
+      "step": 737500
+    },
+    {
+      "epoch": 2.952,
+      "grad_norm": 3.454430103302002,
+      "learning_rate": 8.000000000000001e-07,
+      "loss": 1.8754,
+      "step": 738000
+    },
+    {
+      "epoch": 2.9539999999999997,
+      "grad_norm": 2.3353068828582764,
+      "learning_rate": 7.666666666666667e-07,
+      "loss": 1.9119,
+      "step": 738500
+    },
+    {
+      "epoch": 2.956,
+      "grad_norm": 2.3898520469665527,
+      "learning_rate": 7.333333333333333e-07,
+      "loss": 1.8981,
+      "step": 739000
+    },
+    {
+      "epoch": 2.958,
+      "grad_norm": 4.047188758850098,
+      "learning_rate": 7.000000000000001e-07,
+      "loss": 1.8586,
+      "step": 739500
+    },
+    {
+      "epoch": 2.96,
+      "grad_norm": 3.5045583248138428,
+      "learning_rate": 6.666666666666667e-07,
+      "loss": 1.9015,
+      "step": 740000
+    },
+    {
+      "epoch": 2.9619999999999997,
+      "grad_norm": 3.017232656478882,
+      "learning_rate": 6.333333333333333e-07,
+      "loss": 1.8759,
+      "step": 740500
+    },
+    {
+      "epoch": 2.964,
+      "grad_norm": 3.38450026512146,
+      "learning_rate": 6.000000000000001e-07,
+      "loss": 1.8671,
+      "step": 741000
+    },
+    {
+      "epoch": 2.966,
+      "grad_norm": 2.8586947917938232,
+      "learning_rate": 5.666666666666667e-07,
+      "loss": 1.8921,
+      "step": 741500
+    },
+    {
+      "epoch": 2.968,
+      "grad_norm": 4.179366588592529,
+      "learning_rate": 5.333333333333333e-07,
+      "loss": 1.8749,
+      "step": 742000
+    },
+    {
+      "epoch": 2.9699999999999998,
+      "grad_norm": 3.9916365146636963,
+      "learning_rate": 5.000000000000001e-07,
+      "loss": 1.843,
+      "step": 742500
+    },
+    {
+      "epoch": 2.972,
+      "grad_norm": 3.4197537899017334,
+      "learning_rate": 4.666666666666667e-07,
+      "loss": 1.8876,
+      "step": 743000
+    },
+    {
+      "epoch": 2.974,
+      "grad_norm": 3.2435264587402344,
+      "learning_rate": 4.3333333333333335e-07,
+      "loss": 1.8799,
+      "step": 743500
+    },
+    {
+      "epoch": 2.976,
+      "grad_norm": 2.610262870788574,
+      "learning_rate": 4.0000000000000003e-07,
+      "loss": 1.8933,
+      "step": 744000
+    },
+    {
+      "epoch": 2.9779999999999998,
+      "grad_norm": 1.8669228553771973,
+      "learning_rate": 3.6666666666666667e-07,
+      "loss": 1.9472,
+      "step": 744500
+    },
+    {
+      "epoch": 2.98,
+      "grad_norm": 2.308610677719116,
+      "learning_rate": 3.3333333333333335e-07,
+      "loss": 1.9156,
+      "step": 745000
+    },
+    {
+      "epoch": 2.982,
+      "grad_norm": 3.980257987976074,
+      "learning_rate": 3.0000000000000004e-07,
+      "loss": 1.8542,
+      "step": 745500
+    },
+    {
+      "epoch": 2.984,
+      "grad_norm": 2.6206302642822266,
+      "learning_rate": 2.6666666666666667e-07,
+      "loss": 1.9556,
+      "step": 746000
+    },
+    {
+      "epoch": 2.9859999999999998,
+      "grad_norm": 3.8740410804748535,
+      "learning_rate": 2.3333333333333336e-07,
+      "loss": 1.8761,
+      "step": 746500
+    },
+    {
+      "epoch": 2.988,
+      "grad_norm": 4.097892761230469,
+      "learning_rate": 2.0000000000000002e-07,
+      "loss": 1.8767,
+      "step": 747000
+    },
+    {
+      "epoch": 2.99,
+      "grad_norm": 3.058565855026245,
+      "learning_rate": 1.6666666666666668e-07,
+      "loss": 1.8983,
+      "step": 747500
+    },
+    {
+      "epoch": 2.992,
+      "grad_norm": 3.231644630432129,
+      "learning_rate": 1.3333333333333334e-07,
+      "loss": 1.8433,
+      "step": 748000
+    },
+    {
+      "epoch": 2.9939999999999998,
+      "grad_norm": 3.1899635791778564,
+      "learning_rate": 1.0000000000000001e-07,
+      "loss": 1.9081,
+      "step": 748500
+    },
+    {
+      "epoch": 2.996,
+      "grad_norm": 4.22212553024292,
+      "learning_rate": 6.666666666666667e-08,
+      "loss": 1.8689,
+      "step": 749000
+    },
+    {
+      "epoch": 2.998,
+      "grad_norm": 3.6926040649414062,
+      "learning_rate": 3.3333333333333334e-08,
+      "loss": 1.8267,
+      "step": 749500
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 2.948345184326172,
+      "learning_rate": 0.0,
+      "loss": 1.8743,
+      "step": 750000
+    },
+    {
+      "epoch": 3.0,
+      "step": 750000,
+      "total_flos": 4.05331819977769e+16,
+      "train_loss": 0.04026198291015625,
+      "train_runtime": 1412.1214,
+      "train_samples_per_second": 2124.463,
+      "train_steps_per_second": 531.116
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 750000,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 3,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 4.05331819977769e+16,
+  "train_batch_size": 4,
+  "trial_name": null,
+  "trial_params": null
+}