{ "best_metric": 0.7930196752075032, "best_model_checkpoint": "outputs/time_lm_nli/checkpoint-4009", "epoch": 29.0, "global_step": 6119, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 1.0, "learning_rate": 9.666666666666666e-07, "loss": 0.5392, "step": 211 }, { "epoch": 1.0, "eval_accuracy": 0.7, "eval_f1": 0.6998718119161117, "eval_loss": 0.4048246741294861, "eval_runtime": 5.0256, "eval_samples_per_second": 596.939, "eval_steps_per_second": 74.617, "step": 211 }, { "epoch": 2.0, "learning_rate": 9.333333333333333e-07, "loss": 0.3725, "step": 422 }, { "epoch": 2.0, "eval_accuracy": 0.759, "eval_f1": 0.7583549419422403, "eval_loss": 0.3489450216293335, "eval_runtime": 5.103, "eval_samples_per_second": 587.885, "eval_steps_per_second": 73.486, "step": 422 }, { "epoch": 3.0, "learning_rate": 9e-07, "loss": 0.3158, "step": 633 }, { "epoch": 3.0, "eval_accuracy": 0.7613333333333333, "eval_f1": 0.7569694772671423, "eval_loss": 0.3286795914173126, "eval_runtime": 5.4646, "eval_samples_per_second": 548.991, "eval_steps_per_second": 68.624, "step": 633 }, { "epoch": 4.0, "learning_rate": 8.666666666666667e-07, "loss": 0.289, "step": 844 }, { "epoch": 4.0, "eval_accuracy": 0.769, "eval_f1": 0.7684440341259363, "eval_loss": 0.33065709471702576, "eval_runtime": 5.2159, "eval_samples_per_second": 575.162, "eval_steps_per_second": 71.895, "step": 844 }, { "epoch": 5.0, "learning_rate": 8.333333333333333e-07, "loss": 0.2716, "step": 1055 }, { "epoch": 5.0, "eval_accuracy": 0.7766666666666666, "eval_f1": 0.775028474008066, "eval_loss": 0.3240624666213989, "eval_runtime": 5.2721, "eval_samples_per_second": 569.029, "eval_steps_per_second": 71.129, "step": 1055 }, { "epoch": 6.0, "learning_rate": 8e-07, "loss": 0.2575, "step": 1266 }, { "epoch": 6.0, "eval_accuracy": 0.7786666666666666, "eval_f1": 0.7782108653517272, "eval_loss": 0.32720017433166504, "eval_runtime": 5.4144, "eval_samples_per_second": 554.075, "eval_steps_per_second": 69.259, "step": 1266 }, { "epoch": 7.0, "learning_rate": 7.666666666666667e-07, "loss": 0.2441, "step": 1477 }, { "epoch": 7.0, "eval_accuracy": 0.7783333333333333, "eval_f1": 0.7775937336504917, "eval_loss": 0.3257558345794678, "eval_runtime": 5.0695, "eval_samples_per_second": 591.777, "eval_steps_per_second": 73.972, "step": 1477 }, { "epoch": 8.0, "learning_rate": 7.333333333333332e-07, "loss": 0.2363, "step": 1688 }, { "epoch": 8.0, "eval_accuracy": 0.7776666666666666, "eval_f1": 0.777267505288088, "eval_loss": 0.331592321395874, "eval_runtime": 5.1518, "eval_samples_per_second": 582.323, "eval_steps_per_second": 72.79, "step": 1688 }, { "epoch": 9.0, "learning_rate": 7e-07, "loss": 0.2262, "step": 1899 }, { "epoch": 9.0, "eval_accuracy": 0.7843333333333333, "eval_f1": 0.7814767734353214, "eval_loss": 0.3149881064891815, "eval_runtime": 5.1238, "eval_samples_per_second": 585.508, "eval_steps_per_second": 73.188, "step": 1899 }, { "epoch": 10.0, "learning_rate": 6.666666666666666e-07, "loss": 0.2191, "step": 2110 }, { "epoch": 10.0, "eval_accuracy": 0.7813333333333333, "eval_f1": 0.7801938582947333, "eval_loss": 0.32408154010772705, "eval_runtime": 5.366, "eval_samples_per_second": 559.08, "eval_steps_per_second": 69.885, "step": 2110 }, { "epoch": 11.0, "learning_rate": 6.333333333333332e-07, "loss": 0.2112, "step": 2321 }, { "epoch": 11.0, "eval_accuracy": 0.7866666666666666, "eval_f1": 0.785979422813256, "eval_loss": 0.3275919258594513, "eval_runtime": 5.1309, "eval_samples_per_second": 584.694, "eval_steps_per_second": 73.087, "step": 2321 }, { "epoch": 12.0, "learning_rate": 6e-07, "loss": 0.2047, "step": 2532 }, { "epoch": 12.0, "eval_accuracy": 0.7896666666666666, "eval_f1": 0.7886408467585846, "eval_loss": 0.32662513852119446, "eval_runtime": 5.3907, "eval_samples_per_second": 556.515, "eval_steps_per_second": 69.564, "step": 2532 }, { "epoch": 13.0, "learning_rate": 5.666666666666666e-07, "loss": 0.1973, "step": 2743 }, { "epoch": 13.0, "eval_accuracy": 0.7893333333333333, "eval_f1": 0.7883928571428571, "eval_loss": 0.3298616409301758, "eval_runtime": 5.1275, "eval_samples_per_second": 585.084, "eval_steps_per_second": 73.135, "step": 2743 }, { "epoch": 14.0, "learning_rate": 5.333333333333333e-07, "loss": 0.1897, "step": 2954 }, { "epoch": 14.0, "eval_accuracy": 0.792, "eval_f1": 0.790682602817108, "eval_loss": 0.3300517499446869, "eval_runtime": 5.2516, "eval_samples_per_second": 571.251, "eval_steps_per_second": 71.406, "step": 2954 }, { "epoch": 15.0, "learning_rate": 5e-07, "loss": 0.1862, "step": 3165 }, { "epoch": 15.0, "eval_accuracy": 0.794, "eval_f1": 0.7925361349683366, "eval_loss": 0.3283214867115021, "eval_runtime": 5.2002, "eval_samples_per_second": 576.904, "eval_steps_per_second": 72.113, "step": 3165 }, { "epoch": 16.0, "learning_rate": 4.6666666666666666e-07, "loss": 0.1802, "step": 3376 }, { "epoch": 16.0, "eval_accuracy": 0.7906666666666666, "eval_f1": 0.7902606112099692, "eval_loss": 0.34650853276252747, "eval_runtime": 5.3305, "eval_samples_per_second": 562.794, "eval_steps_per_second": 70.349, "step": 3376 }, { "epoch": 17.0, "learning_rate": 4.3333333333333335e-07, "loss": 0.1764, "step": 3587 }, { "epoch": 17.0, "eval_accuracy": 0.7936666666666666, "eval_f1": 0.7922121284784747, "eval_loss": 0.33925381302833557, "eval_runtime": 5.0983, "eval_samples_per_second": 588.426, "eval_steps_per_second": 73.553, "step": 3587 }, { "epoch": 18.0, "learning_rate": 4e-07, "loss": 0.1693, "step": 3798 }, { "epoch": 18.0, "eval_accuracy": 0.7903333333333333, "eval_f1": 0.7893497135234246, "eval_loss": 0.34940385818481445, "eval_runtime": 5.4092, "eval_samples_per_second": 554.614, "eval_steps_per_second": 69.327, "step": 3798 }, { "epoch": 19.0, "learning_rate": 3.666666666666666e-07, "loss": 0.1666, "step": 4009 }, { "epoch": 19.0, "eval_accuracy": 0.7943333333333333, "eval_f1": 0.7930196752075032, "eval_loss": 0.3486180901527405, "eval_runtime": 5.052, "eval_samples_per_second": 593.829, "eval_steps_per_second": 74.229, "step": 4009 }, { "epoch": 20.0, "learning_rate": 3.333333333333333e-07, "loss": 0.1631, "step": 4220 }, { "epoch": 20.0, "eval_accuracy": 0.7926666666666666, "eval_f1": 0.7917035036676259, "eval_loss": 0.3516102433204651, "eval_runtime": 5.3133, "eval_samples_per_second": 564.624, "eval_steps_per_second": 70.578, "step": 4220 }, { "epoch": 21.0, "learning_rate": 3e-07, "loss": 0.1609, "step": 4431 }, { "epoch": 21.0, "eval_accuracy": 0.7906666666666666, "eval_f1": 0.7892955896569633, "eval_loss": 0.3536934554576874, "eval_runtime": 5.1456, "eval_samples_per_second": 583.024, "eval_steps_per_second": 72.878, "step": 4431 }, { "epoch": 22.0, "learning_rate": 2.6666666666666667e-07, "loss": 0.1581, "step": 4642 }, { "epoch": 22.0, "eval_accuracy": 0.7913333333333333, "eval_f1": 0.7901843830147219, "eval_loss": 0.3585768938064575, "eval_runtime": 5.0974, "eval_samples_per_second": 588.53, "eval_steps_per_second": 73.566, "step": 4642 }, { "epoch": 23.0, "learning_rate": 2.3333333333333333e-07, "loss": 0.1548, "step": 4853 }, { "epoch": 23.0, "eval_accuracy": 0.789, "eval_f1": 0.7883905412466281, "eval_loss": 0.3698215186595917, "eval_runtime": 5.1375, "eval_samples_per_second": 583.94, "eval_steps_per_second": 72.993, "step": 4853 }, { "epoch": 24.0, "learning_rate": 2e-07, "loss": 0.1535, "step": 5064 }, { "epoch": 24.0, "eval_accuracy": 0.7893333333333333, "eval_f1": 0.7880437917624159, "eval_loss": 0.36223018169403076, "eval_runtime": 5.0965, "eval_samples_per_second": 588.636, "eval_steps_per_second": 73.579, "step": 5064 }, { "epoch": 25.0, "learning_rate": 1.6666666666666665e-07, "loss": 0.1522, "step": 5275 }, { "epoch": 25.0, "eval_accuracy": 0.7923333333333333, "eval_f1": 0.7909159993560795, "eval_loss": 0.3625110387802124, "eval_runtime": 5.3082, "eval_samples_per_second": 565.161, "eval_steps_per_second": 70.645, "step": 5275 }, { "epoch": 26.0, "learning_rate": 1.3333333333333334e-07, "loss": 0.15, "step": 5486 }, { "epoch": 26.0, "eval_accuracy": 0.7913333333333333, "eval_f1": 0.7898741258741259, "eval_loss": 0.3632138669490814, "eval_runtime": 5.0849, "eval_samples_per_second": 589.979, "eval_steps_per_second": 73.747, "step": 5486 }, { "epoch": 27.0, "learning_rate": 1e-07, "loss": 0.1479, "step": 5697 }, { "epoch": 27.0, "eval_accuracy": 0.792, "eval_f1": 0.7908753742347737, "eval_loss": 0.36770883202552795, "eval_runtime": 5.1403, "eval_samples_per_second": 583.629, "eval_steps_per_second": 72.954, "step": 5697 }, { "epoch": 28.0, "learning_rate": 6.666666666666667e-08, "loss": 0.1441, "step": 5908 }, { "epoch": 28.0, "eval_accuracy": 0.792, "eval_f1": 0.7909361904196064, "eval_loss": 0.37145498394966125, "eval_runtime": 5.1508, "eval_samples_per_second": 582.434, "eval_steps_per_second": 72.804, "step": 5908 }, { "epoch": 29.0, "learning_rate": 3.3333333333333334e-08, "loss": 0.145, "step": 6119 }, { "epoch": 29.0, "eval_accuracy": 0.792, "eval_f1": 0.7906376559648808, "eval_loss": 0.36812248826026917, "eval_runtime": 5.1947, "eval_samples_per_second": 577.512, "eval_steps_per_second": 72.189, "step": 6119 } ], "max_steps": 6330, "num_train_epochs": 30, "total_flos": 4.15702755421632e+16, "trial_name": null, "trial_params": null }