[14:29:44] - INFO - absl - Restoring checkpoint from ./checkpoint_90000
tcmalloc: large alloc 1530273792 bytes == 0x9b2c6000 @  0x7f647d05f680 0x7f647d080824 0x5b9a14 0x50b2ae 0x50cb1b 0x5a6f17 0x5f3010 0x56fd36 0x568d9a 0x5f5b33 0x56aadf 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f647ce740b3 0x5f96de
/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:386: UserWarning: jax.host_count has been renamed to jax.process_count. This alias will eventually be removed; please update your code.
  warnings.warn(
/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:373: UserWarning: jax.host_id has been renamed to jax.process_index. This alias will eventually be removed; please update your code.
  warnings.warn(
Epoch ... (1/2):   0%|                                                                                                                                                                | 0/2 [00:00<?, ?it/s]





Training...:  26%|████████████████████████████████████▊                                                                                                           | 90051/352766 [04:33<27:53:42,  2.62it/s]




Training...:  26%|████████████████████████████████████▊                                                                                                           | 90101/352766 [04:53<27:06:50,  2.69it/s]




Training...:  26%|████████████████████████████████████▊                                                                                                           | 90151/352766 [05:13<26:28:09,  2.76it/s]




Training...:  26%|████████████████████████████████████▊                                                                                                           | 90201/352766 [05:33<27:17:39,  2.67it/s]




Training...:  26%|████████████████████████████████████▊                                                                                                           | 90251/352766 [05:53<27:03:18,  2.70it/s]




Training...:  26%|████████████████████████████████████▊                                                                                                           | 90301/352766 [06:13<27:18:44,  2.67it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90351/352766 [06:33<27:03:43,  2.69it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90401/352766 [06:53<27:17:44,  2.67it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90451/352766 [07:14<27:00:34,  2.70it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90501/352766 [07:34<27:15:23,  2.67it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90551/352766 [07:54<27:07:13,  2.69it/s]




Training...:  26%|████████████████████████████████████▉                                                                                                           | 90601/352766 [08:14<27:13:48,  2.67it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90651/352766 [08:34<27:17:20,  2.67it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90701/352766 [08:54<27:16:04,  2.67it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90751/352766 [09:14<27:12:21,  2.68it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90801/352766 [09:34<27:12:10,  2.67it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90851/352766 [09:54<27:14:51,  2.67it/s]




Training...:  26%|█████████████████████████████████████                                                                                                           | 90901/352766 [10:14<26:59:51,  2.69it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 90951/352766 [10:34<27:13:26,  2.67it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91001/352766 [10:54<27:01:45,  2.69it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91051/352766 [11:14<27:12:36,  2.67it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91101/352766 [11:34<27:01:38,  2.69it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91151/352766 [11:54<27:12:29,  2.67it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91201/352766 [12:14<27:05:33,  2.68it/s]




Training...:  26%|█████████████████████████████████████▏                                                                                                          | 91251/352766 [12:34<27:10:50,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91301/352766 [12:54<27:11:15,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91351/352766 [13:14<27:10:00,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91401/352766 [13:34<27:10:10,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91451/352766 [13:54<27:11:43,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91501/352766 [14:14<27:10:40,  2.67it/s]




Training...:  26%|█████████████████████████████████████▎                                                                                                          | 91551/352766 [14:34<26:54:10,  2.70it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91601/352766 [14:54<27:07:35,  2.67it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91651/352766 [15:14<26:56:48,  2.69it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91701/352766 [15:34<27:08:13,  2.67it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91751/352766 [15:55<26:55:50,  2.69it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91801/352766 [16:15<27:08:24,  2.67it/s]




Training...:  26%|█████████████████████████████████████▍                                                                                                          | 91851/352766 [16:35<26:57:13,  2.69it/s]




Training...:  26%|█████████████████████████████████████▌                                                                                                          | 91901/352766 [16:55<27:06:54,  2.67it/s]




Training...:  26%|█████████████████████████████████████▌                                                                                                          | 91951/352766 [17:15<27:07:52,  2.67it/s]




Training...:  26%|█████████████████████████████████████▌                                                                                                          | 92001/352766 [17:35<27:05:59,  2.67it/s]
Training...:  26%|█████████████████████████████████████▌                                                                                                          | 92001/352766 [17:48<27:05:59,  2.67it/s]










































Training...:  26%|█████████████████████████████████████▌                                                                                                          | 92051/352766 [19:33<27:07:03,  2.67it/s]




Training...:  26%|█████████████████████████████████████▌                                                                                                          | 92101/352766 [19:53<27:07:18,  2.67it/s]




Training...:  26%|█████████████████████████████████████▌                                                                                                          | 92151/352766 [20:14<27:06:37,  2.67it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92201/352766 [20:34<26:51:07,  2.70it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92251/352766 [20:54<27:05:26,  2.67it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92301/352766 [21:14<26:47:55,  2.70it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92351/352766 [21:34<27:03:55,  2.67it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92401/352766 [21:54<26:56:06,  2.69it/s]




Training...:  26%|█████████████████████████████████████▋                                                                                                          | 92451/352766 [22:14<27:03:33,  2.67it/s]




Training...:  26%|█████████████████████████████████████▊                                                                                                          | 92501/352766 [22:34<26:36:37,  2.72it/s]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92552/352766 [23:07<289:51:50,  4.01s/it]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92602/352766 [23:27<289:47:16,  4.01s/it]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92654/352766 [23:47<162:07:54,  2.24s/it]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92704/352766 [24:07<162:28:16,  2.25s/it]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92756/352766 [24:27<100:39:01,  1.39s/it]





Training...:  26%|█████████████████████████████████████▌                                                                                                         | 92806/352766 [24:47<100:39:52,  1.39s/it]





Training...:  26%|█████████████████████████████████████▋                                                                                                         | 92856/352766 [25:08<100:35:33,  1.39s/it]





Training...:  26%|█████████████████████████████████████▉                                                                                                          | 92908/352766 [25:28<66:16:29,  1.09it/s]





Training...:  26%|█████████████████████████████████████▋                                                                                                         | 92952/352766 [25:47<289:19:30,  4.01s/it]





Training...:  26%|█████████████████████████████████████▋                                                                                                         | 93002/352766 [26:07<289:25:26,  4.01s/it]





Training...:  26%|█████████████████████████████████████▋                                                                                                         | 93054/352766 [26:28<162:04:31,  2.25s/it]





Training...:  26%|█████████████████████████████████████▋                                                                                                         | 93106/352766 [26:48<100:24:31,  1.39s/it]





Training...:  26%|█████████████████████████████████████▊                                                                                                         | 93156/352766 [27:08<100:29:39,  1.39s/it]





Training...:  26%|██████████████████████████████████████                                                                                                          | 93208/352766 [27:28<66:04:11,  1.09it/s]





Training...:  26%|█████████████████████████████████████▊                                                                                                         | 93252/352766 [27:48<289:06:44,  4.01s/it]





Training...:  26%|█████████████████████████████████████▊                                                                                                         | 93302/352766 [28:08<288:57:36,  4.01s/it]





Training...:  26%|█████████████████████████████████████▊                                                                                                         | 93352/352766 [28:28<289:00:22,  4.01s/it]





Training...:  26%|█████████████████████████████████████▊                                                                                                         | 93406/352766 [28:48<100:19:22,  1.39s/it]





Training...:  26%|██████████████████████████████████████▏                                                                                                         | 93458/352766 [29:08<66:02:29,  1.09it/s]





Training...:  27%|██████████████████████████████████████▏                                                                                                         | 93508/352766 [29:28<66:03:24,  1.09it/s]





Training...:  27%|██████████████████████████████████████▏                                                                                                         | 93560/352766 [29:48<45:15:59,  1.59it/s]





Training...:  27%|██████████████████████████████████████▏                                                                                                         | 93610/352766 [30:08<45:16:44,  1.59it/s]





Training...:  27%|█████████████████████████████████████▉                                                                                                         | 93652/352766 [30:28<288:28:02,  4.01s/it]





Training...:  27%|█████████████████████████████████████▉                                                                                                         | 93704/352766 [30:48<161:32:21,  2.24s/it]





Training...:  27%|██████████████████████████████████████                                                                                                         | 93754/352766 [31:08<161:31:25,  2.25s/it]





Training...:  27%|██████████████████████████████████████                                                                                                         | 93804/352766 [31:28<161:29:49,  2.25s/it]





Training...:  27%|██████████████████████████████████████▎                                                                                                         | 93856/352766 [31:48<99:59:56,  1.39s/it]





Training...:  27%|██████████████████████████████████████                                                                                                         | 93906/352766 [32:08<100:12:30,  1.39s/it]





Training...:  27%|██████████████████████████████████████                                                                                                         | 93956/352766 [32:28<100:46:26,  1.40s/it]





Training...:  27%|██████████████████████████████████████▎                                                                                                         | 94001/352766 [32:48<26:38:53,  2.70it/s]
Step... (4000 | Loss: 2.5976178646087646, Learning Rate: 2.6376830646768212e-05)









































Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94051/352766 [34:15<27:00:04,  2.66it/s]




Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94101/352766 [34:35<26:33:43,  2.71it/s]




Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94151/352766 [34:55<26:51:02,  2.68it/s]




Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94201/352766 [35:15<26:42:34,  2.69it/s]




Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94251/352766 [35:35<26:50:54,  2.67it/s]




Training...:  27%|██████████████████████████████████████▍                                                                                                         | 94301/352766 [35:55<26:34:16,  2.70it/s]




Training...:  27%|██████████████████████████████████████▌                                                                                                         | 94351/352766 [36:15<26:49:47,  2.68it/s]




Training...:  27%|██████████████████████████████████████▌                                                                                                         | 94401/352766 [36:35<26:52:57,  2.67it/s]




Training...:  27%|██████████████████████████████████████▌                                                                                                         | 94451/352766 [36:55<26:40:59,  2.69it/s]




Training...:  27%|██████████████████████████████████████▌                                                                                                         | 94501/352766 [37:15<26:50:11,  2.67it/s]