[01:00:01] - INFO - absl - Restoring checkpoint from ./checkpoint_150000
tcmalloc: large alloc 1530273792 bytes == 0x9e3b8000 @  0x7f779c64f680 0x7f779c670824 0x5b9a14 0x50b2ae 0x50cb1b 0x5a6f17 0x5f3010 0x56fd36 0x568d9a 0x5f5b33 0x56aadf 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de
/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:386: UserWarning: jax.host_count has been renamed to jax.process_count. This alias will eventually be removed; please update your code.
  warnings.warn(
/home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:373: UserWarning: jax.host_id has been renamed to jax.process_index. This alias will eventually be removed; please update your code.
  warnings.warn(
Epoch ... (1/3):   0%|                                                                                                                                                                | 0/3 [00:00<?, ?it/s]
Training...: 0it [00:00, ?it/s]





Training...: 54it [04:42,  1.40s/it]




Training...: 99it [04:49,  2.67it/s]





Training...: 178it [05:24, 12.74it/s]



Training...: 199it [05:29,  2.69it/s]





Training...: 249it [05:49,  2.67it/s]






Training...: 300it [06:22,  4.01s/it]




Training...: 349it [06:29,  2.68it/s]





Training...: 399it [06:49,  2.74it/s]




Training...: 449it [07:09,  2.67it/s]




Training...: 499it [07:29,  2.67it/s]




Training...: 549it [07:49,  2.70it/s]




Training...: 599it [08:09,  2.68it/s]




Training...: 649it [08:29,  2.70it/s]





Training...: 699it [08:49,  2.67it/s]





Training...: 749it [09:09,  2.70it/s]





Training...: 799it [09:29,  2.68it/s]





Training...: 849it [09:49,  2.67it/s]






Training...: 906it [10:23,  1.09it/s]





Training...: 956it [10:43,  1.09it/s]





Training...: 1006it [11:03,  1.09it/s]





Training...: 1056it [11:23,  1.09it/s]




Training...: 1099it [11:29,  2.67it/s]




Training...: 1149it [11:49,  2.67it/s]





Training...: 1199it [12:09,  2.67it/s]





Training...: 1249it [12:29,  2.70it/s]





Training...: 1299it [12:50,  2.67it/s]





Training...: 1349it [13:10,  2.69it/s]





Training...: 1399it [13:30,  2.68it/s]





Training...: 1449it [13:50,  2.67it/s]





Training...: 1499it [14:10,  2.67it/s]






Training...: 1550it [14:43,  4.01s/it]




Training...: 1599it [14:50,  2.70it/s]





Training...: 1649it [15:10,  2.65it/s]





Training...: 1699it [15:30,  2.69it/s]





Training...: 1749it [15:50,  2.68it/s]





Training...: 1799it [16:10,  2.67it/s]





Training...: 1849it [16:30,  2.67it/s]





Training...: 1899it [16:50,  2.67it/s]





Training...: 1949it [17:10,  2.70it/s]





Training...: 1999it [17:30,  2.68it/s]





Training...: 2049it [17:50,  2.70it/s]





Training...: 2099it [18:10,  2.67it/s]





Training...: 2149it [18:30,  2.68it/s]





Training...: 2199it [18:50,  2.68it/s]





Training...: 2249it [19:10,  2.68it/s]





Training...: 2299it [19:30,  2.70it/s]





Training...: 2349it [19:50,  2.67it/s]





Training...: 2399it [20:10,  2.70it/s]





Training...: 2449it [20:30,  2.67it/s]





Training...: 2499it [20:50,  2.63it/s]





Training...: 2549it [21:11,  2.68it/s]





Training...: 2599it [21:31,  2.68it/s]





Training...: 2649it [21:51,  2.73it/s]





Training...: 2699it [22:11,  2.67it/s]





Training...: 2749it [22:31,  2.67it/s]





Training...: 2799it [22:51,  2.68it/s]





Training...: 2849it [23:11,  2.64it/s]





Training...: 2899it [23:31,  2.68it/s]





Training...: 2949it [23:51,  2.68it/s]





Training...: 2999it [24:11,  2.74it/s]






Training...: 3058it [24:45,  1.59it/s]




Training...: 3099it [24:51,  2.70it/s]





Training...: 3149it [25:11,  2.67it/s]





Training...: 3199it [25:31,  2.69it/s]





Training...: 3249it [25:51,  2.68it/s]






Training...: 3300it [26:24,  4.01s/it]





Training...: 3354it [26:45,  1.39s/it]




Training...: 3399it [26:51,  2.68it/s]





Training...: 3449it [27:11,  2.70it/s]





Training...: 3499it [27:31,  2.67it/s]






Training...: 3558it [28:05,  1.59it/s]





Training...: 3608it [28:25,  1.59it/s]





Training...: 3658it [28:45,  1.60it/s]




Training...: 3699it [28:52,  2.67it/s]





Training...: 3749it [29:12,  2.67it/s]






Training...: 3804it [29:45,  1.39s/it]




Training...: 3849it [29:52,  2.68it/s]





Training...: 3899it [30:12,  2.69it/s]






Training...: 3956it [30:45,  1.09it/s]




Training...: 3999it [30:52,  2.68it/s]






Training...: 4057it [31:25,  1.46it/s]




Training...: 4099it [31:32,  2.66it/s]






Training...: 4152it [32:05,  2.25s/it]





Training...: 4201it [32:25,  2.88s/it]




Training...: 4249it [32:32,  2.66it/s]





Training...: 4299it [32:52,  2.68it/s]






Training...: 4356it [33:26,  1.09it/s]




Training...: 4399it [33:32,  2.68it/s]





Training...: 4449it [33:52,  2.67it/s]





Training...: 4499it [34:12,  2.69it/s]





Training...: 4549it [34:32,  2.68it/s]





Training...: 4599it [34:52,  2.69it/s]





Training...: 4649it [35:12,  2.68it/s]






Training...: 4703it [35:46,  1.64s/it]




Training...: 4749it [35:52,  2.67it/s]






Training...: 4806it [36:26,  1.09it/s]




Training...: 4849it [36:32,  2.70it/s]





Training...: 4899it [36:53,  2.67it/s]






Training...: 4958it [37:26,  1.59it/s]




Training...: 4999it [37:33,  2.65it/s]





Training...: 5049it [37:53,  2.30it/s]





Training...: 5099it [38:13,  2.68it/s]






Training...: 5152it [38:46,  2.25s/it]





Training...: 5206it [39:06,  1.09it/s]




Training...: 5249it [39:13,  2.68it/s]





Training...: 5299it [39:33,  2.69it/s]






Training...: 5358it [40:07,  1.59it/s]





Training...: 5408it [40:27,  1.58it/s]





Training...: 5460it [40:47,  2.24it/s]




Training...: 5499it [40:53,  2.68it/s]





Training...: 5549it [41:13,  2.70it/s]





Training...: 5599it [41:33,  2.67it/s]





Training...: 5649it [41:53,  2.68it/s]





Training...: 5699it [42:13,  2.67it/s]






Training...: 5756it [42:47,  1.09it/s]




Training...: 5799it [42:53,  2.68it/s]






Training...: 5856it [43:27,  1.09it/s]





Training...: 5906it [43:47,  1.09it/s]




Training...: 5949it [43:53,  2.68it/s]





Training...: 5999it [44:27,  2.69it/s]
Evaluating ...:   0%|                                                                                                                                                               | 0/500 [00:00<?, ?it/s]



































Training...: 6049it [45:56,  2.66it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6099it [46:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6149it [46:36,  2.72it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6199it [46:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6249it [47:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6299it [47:36,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6349it [47:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6399it [48:16,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6449it [48:36,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6499it [48:56,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6549it [49:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6599it [49:36,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6649it [49:56,  2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6699it [50:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6749it [50:36,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6799it [50:56,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6849it [51:16,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6899it [51:37,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 6949it [51:57,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 6999it [52:17,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7049it [52:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 7099it [52:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]





Training...: 7149it [53:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7199it [53:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7249it [53:57,  2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7299it [54:17,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7349it [54:37,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7399it [54:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7449it [55:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7499it [55:37,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7549it [55:57,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7599it [56:17,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7649it [56:37,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7699it [56:57,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7749it [57:17,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7799it [57:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7849it [57:57,  2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7899it [58:17,  2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7949it [58:37,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 7999it [58:57,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8049it [59:18,  2.65it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8099it [59:38,  2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8149it [59:58,  2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8199it [1:00:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8249it [1:00:38,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8299it [1:00:58,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8349it [1:01:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8399it [1:01:38,  2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8449it [1:01:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8499it [1:02:18,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8549it [1:02:38,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8599it [1:02:58,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8649it [1:03:18,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8699it [1:03:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8749it [1:03:58,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8799it [1:04:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8849it [1:04:38,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8899it [1:04:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8949it [1:05:18,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 8999it [1:05:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9049it [1:05:58,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9099it [1:06:18,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9149it [1:06:38,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9199it [1:06:58,  2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9249it [1:07:18,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9299it [1:07:39,  2.75it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9349it [1:07:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9399it [1:08:19,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9449it [1:08:39,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9499it [1:08:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9549it [1:09:19,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9599it [1:09:39,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9649it [1:09:59,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9699it [1:10:19,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9749it [1:10:39,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9799it [1:10:59,  2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9849it [1:11:19,  2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9899it [1:11:39,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9949it [1:11:59,  2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 9999it [1:12:19,  2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10049it [1:12:39,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10099it [1:12:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10149it [1:13:19,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10199it [1:13:39,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10249it [1:13:59,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10299it [1:14:19,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10349it [1:14:39,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10399it [1:14:59,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10449it [1:15:19,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10499it [1:15:39,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10549it [1:16:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10599it [1:16:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10649it [1:16:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10699it [1:17:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10749it [1:17:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10799it [1:17:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10849it [1:18:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10899it [1:18:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10949it [1:18:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 10999it [1:19:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11049it [1:19:20,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11099it [1:19:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11149it [1:20:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11199it [1:20:20,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11249it [1:20:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11299it [1:21:00,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11349it [1:21:20,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11399it [1:21:40,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11449it [1:22:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11499it [1:22:20,  2.76it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11549it [1:22:40,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11599it [1:23:00,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11649it [1:23:20,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11699it [1:23:40,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11749it [1:24:00,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11799it [1:24:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11849it [1:24:41,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11899it [1:25:01,  2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11949it [1:25:21,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]




Training...: 11999it [1:25:41,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]
Training...: 11999it [1:25:54,  2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00,  7.90it/s]

































Training...: 12049it [1:27:05,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12099it [1:27:25,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





                                         █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12200it [1:28:18,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12249it [1:28:25,  2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12299it [1:28:45,  2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12350it [1:29:18,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12400it [1:29:38,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12450it [1:29:58,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12504it [1:30:19,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12554it [1:30:39,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12599it [1:30:45,  2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12649it [1:31:05,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12699it [1:31:25,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12750it [1:31:59,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12800it [1:32:19,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12854it [1:32:39,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 12906it [1:32:59,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]




Training...: 12949it [1:33:06,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13000it [1:33:39,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13052it [1:33:59,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13102it [1:34:19,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13152it [1:34:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13200it [1:34:59,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13250it [1:35:19,  4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13302it [1:35:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13352it [1:35:59,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13402it [1:36:19,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13452it [1:36:39,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13504it [1:37:00,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13554it [1:37:20,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13604it [1:37:40,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13656it [1:38:00,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13706it [1:38:20,  1.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13756it [1:38:40,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13808it [1:39:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13858it [1:39:20,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13910it [1:39:40,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 13954it [1:40:00,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14004it [1:40:20,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14054it [1:40:40,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14108it [1:41:00,  1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14152it [1:41:20,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14210it [1:41:41,  2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14252it [1:42:00,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14300it [1:42:20,  4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14350it [1:42:40,  4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14402it [1:43:00,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14452it [1:43:21,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14502it [1:43:41,  2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14552it [1:44:01,  2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14604it [1:44:21,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14654it [1:44:41,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14704it [1:45:01,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14754it [1:45:21,  1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14804it [1:45:41,  1.41s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14854it [1:46:01,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14904it [1:46:21,  1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14956it [1:46:41,  1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]





Training...: 14999it [1:47:01,  2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]

tcmalloc: large alloc 1354776576 bytes == 0x37c662000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df
tcmalloc: large alloc 2715181056 bytes == 0x3cda66000 @  0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
tcmalloc: large alloc 1530273792 bytes == 0x32311e000 @  0x7f779c64f680 0x7f779c670824 0x5f7b11 0x7f7782c12c6f 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de
[02:52:47] - INFO - absl - Saved checkpoint at checkpoint_165000
[02:52:48] - INFO - huggingface_hub.repository - git version 2.25.1
git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)