| { | |
| "best_metric": 0.7930196752075032, | |
| "best_model_checkpoint": "outputs/time_lm_nli/checkpoint-4009", | |
| "epoch": 30.0, | |
| "global_step": 6330, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 1.0, | |
| "learning_rate": 9.666666666666666e-07, | |
| "loss": 0.5392, | |
| "step": 211 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_accuracy": 0.7, | |
| "eval_f1": 0.6998718119161117, | |
| "eval_loss": 0.4048246741294861, | |
| "eval_runtime": 5.0256, | |
| "eval_samples_per_second": 596.939, | |
| "eval_steps_per_second": 74.617, | |
| "step": 211 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "learning_rate": 9.333333333333333e-07, | |
| "loss": 0.3725, | |
| "step": 422 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.759, | |
| "eval_f1": 0.7583549419422403, | |
| "eval_loss": 0.3489450216293335, | |
| "eval_runtime": 5.103, | |
| "eval_samples_per_second": 587.885, | |
| "eval_steps_per_second": 73.486, | |
| "step": 422 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "learning_rate": 9e-07, | |
| "loss": 0.3158, | |
| "step": 633 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_accuracy": 0.7613333333333333, | |
| "eval_f1": 0.7569694772671423, | |
| "eval_loss": 0.3286795914173126, | |
| "eval_runtime": 5.4646, | |
| "eval_samples_per_second": 548.991, | |
| "eval_steps_per_second": 68.624, | |
| "step": 633 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "learning_rate": 8.666666666666667e-07, | |
| "loss": 0.289, | |
| "step": 844 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "eval_accuracy": 0.769, | |
| "eval_f1": 0.7684440341259363, | |
| "eval_loss": 0.33065709471702576, | |
| "eval_runtime": 5.2159, | |
| "eval_samples_per_second": 575.162, | |
| "eval_steps_per_second": 71.895, | |
| "step": 844 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "learning_rate": 8.333333333333333e-07, | |
| "loss": 0.2716, | |
| "step": 1055 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "eval_accuracy": 0.7766666666666666, | |
| "eval_f1": 0.775028474008066, | |
| "eval_loss": 0.3240624666213989, | |
| "eval_runtime": 5.2721, | |
| "eval_samples_per_second": 569.029, | |
| "eval_steps_per_second": 71.129, | |
| "step": 1055 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "learning_rate": 8e-07, | |
| "loss": 0.2575, | |
| "step": 1266 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "eval_accuracy": 0.7786666666666666, | |
| "eval_f1": 0.7782108653517272, | |
| "eval_loss": 0.32720017433166504, | |
| "eval_runtime": 5.4144, | |
| "eval_samples_per_second": 554.075, | |
| "eval_steps_per_second": 69.259, | |
| "step": 1266 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "learning_rate": 7.666666666666667e-07, | |
| "loss": 0.2441, | |
| "step": 1477 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "eval_accuracy": 0.7783333333333333, | |
| "eval_f1": 0.7775937336504917, | |
| "eval_loss": 0.3257558345794678, | |
| "eval_runtime": 5.0695, | |
| "eval_samples_per_second": 591.777, | |
| "eval_steps_per_second": 73.972, | |
| "step": 1477 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "learning_rate": 7.333333333333332e-07, | |
| "loss": 0.2363, | |
| "step": 1688 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "eval_accuracy": 0.7776666666666666, | |
| "eval_f1": 0.777267505288088, | |
| "eval_loss": 0.331592321395874, | |
| "eval_runtime": 5.1518, | |
| "eval_samples_per_second": 582.323, | |
| "eval_steps_per_second": 72.79, | |
| "step": 1688 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "learning_rate": 7e-07, | |
| "loss": 0.2262, | |
| "step": 1899 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "eval_accuracy": 0.7843333333333333, | |
| "eval_f1": 0.7814767734353214, | |
| "eval_loss": 0.3149881064891815, | |
| "eval_runtime": 5.1238, | |
| "eval_samples_per_second": 585.508, | |
| "eval_steps_per_second": 73.188, | |
| "step": 1899 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "learning_rate": 6.666666666666666e-07, | |
| "loss": 0.2191, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "eval_accuracy": 0.7813333333333333, | |
| "eval_f1": 0.7801938582947333, | |
| "eval_loss": 0.32408154010772705, | |
| "eval_runtime": 5.366, | |
| "eval_samples_per_second": 559.08, | |
| "eval_steps_per_second": 69.885, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "learning_rate": 6.333333333333332e-07, | |
| "loss": 0.2112, | |
| "step": 2321 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "eval_accuracy": 0.7866666666666666, | |
| "eval_f1": 0.785979422813256, | |
| "eval_loss": 0.3275919258594513, | |
| "eval_runtime": 5.1309, | |
| "eval_samples_per_second": 584.694, | |
| "eval_steps_per_second": 73.087, | |
| "step": 2321 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "learning_rate": 6e-07, | |
| "loss": 0.2047, | |
| "step": 2532 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "eval_accuracy": 0.7896666666666666, | |
| "eval_f1": 0.7886408467585846, | |
| "eval_loss": 0.32662513852119446, | |
| "eval_runtime": 5.3907, | |
| "eval_samples_per_second": 556.515, | |
| "eval_steps_per_second": 69.564, | |
| "step": 2532 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "learning_rate": 5.666666666666666e-07, | |
| "loss": 0.1973, | |
| "step": 2743 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "eval_accuracy": 0.7893333333333333, | |
| "eval_f1": 0.7883928571428571, | |
| "eval_loss": 0.3298616409301758, | |
| "eval_runtime": 5.1275, | |
| "eval_samples_per_second": 585.084, | |
| "eval_steps_per_second": 73.135, | |
| "step": 2743 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "learning_rate": 5.333333333333333e-07, | |
| "loss": 0.1897, | |
| "step": 2954 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "eval_accuracy": 0.792, | |
| "eval_f1": 0.790682602817108, | |
| "eval_loss": 0.3300517499446869, | |
| "eval_runtime": 5.2516, | |
| "eval_samples_per_second": 571.251, | |
| "eval_steps_per_second": 71.406, | |
| "step": 2954 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "learning_rate": 5e-07, | |
| "loss": 0.1862, | |
| "step": 3165 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "eval_accuracy": 0.794, | |
| "eval_f1": 0.7925361349683366, | |
| "eval_loss": 0.3283214867115021, | |
| "eval_runtime": 5.2002, | |
| "eval_samples_per_second": 576.904, | |
| "eval_steps_per_second": 72.113, | |
| "step": 3165 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "learning_rate": 4.6666666666666666e-07, | |
| "loss": 0.1802, | |
| "step": 3376 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "eval_accuracy": 0.7906666666666666, | |
| "eval_f1": 0.7902606112099692, | |
| "eval_loss": 0.34650853276252747, | |
| "eval_runtime": 5.3305, | |
| "eval_samples_per_second": 562.794, | |
| "eval_steps_per_second": 70.349, | |
| "step": 3376 | |
| }, | |
| { | |
| "epoch": 17.0, | |
| "learning_rate": 4.3333333333333335e-07, | |
| "loss": 0.1764, | |
| "step": 3587 | |
| }, | |
| { | |
| "epoch": 17.0, | |
| "eval_accuracy": 0.7936666666666666, | |
| "eval_f1": 0.7922121284784747, | |
| "eval_loss": 0.33925381302833557, | |
| "eval_runtime": 5.0983, | |
| "eval_samples_per_second": 588.426, | |
| "eval_steps_per_second": 73.553, | |
| "step": 3587 | |
| }, | |
| { | |
| "epoch": 18.0, | |
| "learning_rate": 4e-07, | |
| "loss": 0.1693, | |
| "step": 3798 | |
| }, | |
| { | |
| "epoch": 18.0, | |
| "eval_accuracy": 0.7903333333333333, | |
| "eval_f1": 0.7893497135234246, | |
| "eval_loss": 0.34940385818481445, | |
| "eval_runtime": 5.4092, | |
| "eval_samples_per_second": 554.614, | |
| "eval_steps_per_second": 69.327, | |
| "step": 3798 | |
| }, | |
| { | |
| "epoch": 19.0, | |
| "learning_rate": 3.666666666666666e-07, | |
| "loss": 0.1666, | |
| "step": 4009 | |
| }, | |
| { | |
| "epoch": 19.0, | |
| "eval_accuracy": 0.7943333333333333, | |
| "eval_f1": 0.7930196752075032, | |
| "eval_loss": 0.3486180901527405, | |
| "eval_runtime": 5.052, | |
| "eval_samples_per_second": 593.829, | |
| "eval_steps_per_second": 74.229, | |
| "step": 4009 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "learning_rate": 3.333333333333333e-07, | |
| "loss": 0.1631, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "eval_accuracy": 0.7926666666666666, | |
| "eval_f1": 0.7917035036676259, | |
| "eval_loss": 0.3516102433204651, | |
| "eval_runtime": 5.3133, | |
| "eval_samples_per_second": 564.624, | |
| "eval_steps_per_second": 70.578, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 21.0, | |
| "learning_rate": 3e-07, | |
| "loss": 0.1609, | |
| "step": 4431 | |
| }, | |
| { | |
| "epoch": 21.0, | |
| "eval_accuracy": 0.7906666666666666, | |
| "eval_f1": 0.7892955896569633, | |
| "eval_loss": 0.3536934554576874, | |
| "eval_runtime": 5.1456, | |
| "eval_samples_per_second": 583.024, | |
| "eval_steps_per_second": 72.878, | |
| "step": 4431 | |
| }, | |
| { | |
| "epoch": 22.0, | |
| "learning_rate": 2.6666666666666667e-07, | |
| "loss": 0.1581, | |
| "step": 4642 | |
| }, | |
| { | |
| "epoch": 22.0, | |
| "eval_accuracy": 0.7913333333333333, | |
| "eval_f1": 0.7901843830147219, | |
| "eval_loss": 0.3585768938064575, | |
| "eval_runtime": 5.0974, | |
| "eval_samples_per_second": 588.53, | |
| "eval_steps_per_second": 73.566, | |
| "step": 4642 | |
| }, | |
| { | |
| "epoch": 23.0, | |
| "learning_rate": 2.3333333333333333e-07, | |
| "loss": 0.1548, | |
| "step": 4853 | |
| }, | |
| { | |
| "epoch": 23.0, | |
| "eval_accuracy": 0.789, | |
| "eval_f1": 0.7883905412466281, | |
| "eval_loss": 0.3698215186595917, | |
| "eval_runtime": 5.1375, | |
| "eval_samples_per_second": 583.94, | |
| "eval_steps_per_second": 72.993, | |
| "step": 4853 | |
| }, | |
| { | |
| "epoch": 24.0, | |
| "learning_rate": 2e-07, | |
| "loss": 0.1535, | |
| "step": 5064 | |
| }, | |
| { | |
| "epoch": 24.0, | |
| "eval_accuracy": 0.7893333333333333, | |
| "eval_f1": 0.7880437917624159, | |
| "eval_loss": 0.36223018169403076, | |
| "eval_runtime": 5.0965, | |
| "eval_samples_per_second": 588.636, | |
| "eval_steps_per_second": 73.579, | |
| "step": 5064 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "learning_rate": 1.6666666666666665e-07, | |
| "loss": 0.1522, | |
| "step": 5275 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "eval_accuracy": 0.7923333333333333, | |
| "eval_f1": 0.7909159993560795, | |
| "eval_loss": 0.3625110387802124, | |
| "eval_runtime": 5.3082, | |
| "eval_samples_per_second": 565.161, | |
| "eval_steps_per_second": 70.645, | |
| "step": 5275 | |
| }, | |
| { | |
| "epoch": 26.0, | |
| "learning_rate": 1.3333333333333334e-07, | |
| "loss": 0.15, | |
| "step": 5486 | |
| }, | |
| { | |
| "epoch": 26.0, | |
| "eval_accuracy": 0.7913333333333333, | |
| "eval_f1": 0.7898741258741259, | |
| "eval_loss": 0.3632138669490814, | |
| "eval_runtime": 5.0849, | |
| "eval_samples_per_second": 589.979, | |
| "eval_steps_per_second": 73.747, | |
| "step": 5486 | |
| }, | |
| { | |
| "epoch": 27.0, | |
| "learning_rate": 1e-07, | |
| "loss": 0.1479, | |
| "step": 5697 | |
| }, | |
| { | |
| "epoch": 27.0, | |
| "eval_accuracy": 0.792, | |
| "eval_f1": 0.7908753742347737, | |
| "eval_loss": 0.36770883202552795, | |
| "eval_runtime": 5.1403, | |
| "eval_samples_per_second": 583.629, | |
| "eval_steps_per_second": 72.954, | |
| "step": 5697 | |
| }, | |
| { | |
| "epoch": 28.0, | |
| "learning_rate": 6.666666666666667e-08, | |
| "loss": 0.1441, | |
| "step": 5908 | |
| }, | |
| { | |
| "epoch": 28.0, | |
| "eval_accuracy": 0.792, | |
| "eval_f1": 0.7909361904196064, | |
| "eval_loss": 0.37145498394966125, | |
| "eval_runtime": 5.1508, | |
| "eval_samples_per_second": 582.434, | |
| "eval_steps_per_second": 72.804, | |
| "step": 5908 | |
| }, | |
| { | |
| "epoch": 29.0, | |
| "learning_rate": 3.3333333333333334e-08, | |
| "loss": 0.145, | |
| "step": 6119 | |
| }, | |
| { | |
| "epoch": 29.0, | |
| "eval_accuracy": 0.792, | |
| "eval_f1": 0.7906376559648808, | |
| "eval_loss": 0.36812248826026917, | |
| "eval_runtime": 5.1947, | |
| "eval_samples_per_second": 577.512, | |
| "eval_steps_per_second": 72.189, | |
| "step": 6119 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "learning_rate": 0.0, | |
| "loss": 0.1432, | |
| "step": 6330 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "eval_accuracy": 0.7913333333333333, | |
| "eval_f1": 0.7899207605271177, | |
| "eval_loss": 0.3683205842971802, | |
| "eval_runtime": 5.2918, | |
| "eval_samples_per_second": 566.919, | |
| "eval_steps_per_second": 70.865, | |
| "step": 6330 | |
| } | |
| ], | |
| "max_steps": 6330, | |
| "num_train_epochs": 30, | |
| "total_flos": 4.300749969732518e+16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |