{ "best_metric": null, "best_model_checkpoint": null, "epoch": 0.6666666666666666, "eval_steps": 25, "global_step": 250, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.06666666666666667, "grad_norm": 0.5077394843101501, "learning_rate": 0.0004962796513310917, "loss": 1.8786, "step": 25 }, { "epoch": 0.06666666666666667, "eval_loss": 1.2509196996688843, "eval_runtime": 14.9139, "eval_samples_per_second": 3.353, "eval_steps_per_second": 0.469, "step": 25 }, { "epoch": 0.13333333333333333, "grad_norm": 0.6929311752319336, "learning_rate": 0.00047590709015212635, "loss": 1.0271, "step": 50 }, { "epoch": 0.13333333333333333, "eval_loss": 1.2256547212600708, "eval_runtime": 14.8976, "eval_samples_per_second": 3.356, "eval_steps_per_second": 0.47, "step": 50 }, { "epoch": 0.2, "grad_norm": 0.5425320863723755, "learning_rate": 0.0004391782039544238, "loss": 1.3165, "step": 75 }, { "epoch": 0.2, "eval_loss": 1.1554468870162964, "eval_runtime": 14.9773, "eval_samples_per_second": 3.338, "eval_steps_per_second": 0.467, "step": 75 }, { "epoch": 0.26666666666666666, "grad_norm": 0.41945549845695496, "learning_rate": 0.0003887522700533675, "loss": 1.0036, "step": 100 }, { "epoch": 0.26666666666666666, "eval_loss": 1.1490750312805176, "eval_runtime": 15.0033, "eval_samples_per_second": 3.333, "eval_steps_per_second": 0.467, "step": 100 }, { "epoch": 0.3333333333333333, "grad_norm": 0.47675174474716187, "learning_rate": 0.00032828027153100067, "loss": 1.2587, "step": 125 }, { "epoch": 0.3333333333333333, "eval_loss": 1.1076823472976685, "eval_runtime": 14.9861, "eval_samples_per_second": 3.336, "eval_steps_per_second": 0.467, "step": 125 }, { "epoch": 0.4, "grad_norm": 0.39953848719596863, "learning_rate": 0.0002621405555286121, "loss": 0.9131, "step": 150 }, { "epoch": 0.4, "eval_loss": 1.1073076725006104, "eval_runtime": 14.9451, "eval_samples_per_second": 3.346, "eval_steps_per_second": 0.468, "step": 150 }, { "epoch": 0.4666666666666667, "grad_norm": 0.42341387271881104, "learning_rate": 0.00019512182828314883, "loss": 1.1952, "step": 175 }, { "epoch": 0.4666666666666667, "eval_loss": 1.054356336593628, "eval_runtime": 14.9684, "eval_samples_per_second": 3.34, "eval_steps_per_second": 0.468, "step": 175 }, { "epoch": 0.5333333333333333, "grad_norm": 1.4625991582870483, "learning_rate": 0.00013207643898130854, "loss": 0.9034, "step": 200 }, { "epoch": 0.5333333333333333, "eval_loss": 1.0499968528747559, "eval_runtime": 15.0085, "eval_samples_per_second": 3.331, "eval_steps_per_second": 0.466, "step": 200 }, { "epoch": 0.6, "grad_norm": 0.4041430354118347, "learning_rate": 7.756905568047393e-05, "loss": 1.1858, "step": 225 }, { "epoch": 0.6, "eval_loss": 1.0380258560180664, "eval_runtime": 14.9267, "eval_samples_per_second": 3.35, "eval_steps_per_second": 0.469, "step": 225 }, { "epoch": 0.6666666666666666, "grad_norm": 0.47007474303245544, "learning_rate": 3.5546170173306444e-05, "loss": 0.8296, "step": 250 }, { "epoch": 0.6666666666666666, "eval_loss": 1.0288008451461792, "eval_runtime": 14.9133, "eval_samples_per_second": 3.353, "eval_steps_per_second": 0.469, "step": 250 } ], "logging_steps": 25, "max_steps": 300, "num_input_tokens_seen": 0, "num_train_epochs": 1, "save_steps": 50, "total_flos": 1.5177993965223936e+16, "train_batch_size": 1, "trial_name": null, "trial_params": null }