| [01:00:01] - INFO - absl - Restoring checkpoint from ./checkpoint_150000 | |
| tcmalloc: large alloc 1530273792 bytes == 0x9e3b8000 @ 0x7f779c64f680 0x7f779c670824 0x5b9a14 0x50b2ae 0x50cb1b 0x5a6f17 0x5f3010 0x56fd36 0x568d9a 0x5f5b33 0x56aadf 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de | |
| /home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:386: UserWarning: jax.host_count has been renamed to jax.process_count. This alias will eventually be removed; please update your code. | |
| warnings.warn( | |
| /home/dat/pino/lib/python3.8/site-packages/jax/lib/xla_bridge.py:373: UserWarning: jax.host_id has been renamed to jax.process_index. This alias will eventually be removed; please update your code. | |
| warnings.warn( | |
| Epoch ... (1/3): 0%| | 0/3 [00:00<?, ?it/s] | |
| Training...: 0it [00:00, ?it/s] | |
| Training...: 54it [04:42, 1.40s/it] | |
| Training...: 99it [04:49, 2.67it/s] | |
| Training...: 178it [05:24, 12.74it/s] | |
| Training...: 199it [05:29, 2.69it/s] | |
| Training...: 249it [05:49, 2.67it/s] | |
| Training...: 300it [06:22, 4.01s/it] | |
| Training...: 349it [06:29, 2.68it/s] | |
| Training...: 399it [06:49, 2.74it/s] | |
| Training...: 449it [07:09, 2.67it/s] | |
| Training...: 499it [07:29, 2.67it/s] | |
| Training...: 549it [07:49, 2.70it/s] | |
| Training...: 599it [08:09, 2.68it/s] | |
| Training...: 649it [08:29, 2.70it/s] | |
| Training...: 699it [08:49, 2.67it/s] | |
| Training...: 749it [09:09, 2.70it/s] | |
| Training...: 799it [09:29, 2.68it/s] | |
| Training...: 849it [09:49, 2.67it/s] | |
| Training...: 906it [10:23, 1.09it/s] | |
| Training...: 956it [10:43, 1.09it/s] | |
| Training...: 1006it [11:03, 1.09it/s] | |
| Training...: 1056it [11:23, 1.09it/s] | |
| Training...: 1099it [11:29, 2.67it/s] | |
| Training...: 1149it [11:49, 2.67it/s] | |
| Training...: 1199it [12:09, 2.67it/s] | |
| Training...: 1249it [12:29, 2.70it/s] | |
| Training...: 1299it [12:50, 2.67it/s] | |
| Training...: 1349it [13:10, 2.69it/s] | |
| Training...: 1399it [13:30, 2.68it/s] | |
| Training...: 1449it [13:50, 2.67it/s] | |
| Training...: 1499it [14:10, 2.67it/s] | |
| Training...: 1550it [14:43, 4.01s/it] | |
| Training...: 1599it [14:50, 2.70it/s] | |
| Training...: 1649it [15:10, 2.65it/s] | |
| Training...: 1699it [15:30, 2.69it/s] | |
| Training...: 1749it [15:50, 2.68it/s] | |
| Training...: 1799it [16:10, 2.67it/s] | |
| Training...: 1849it [16:30, 2.67it/s] | |
| Training...: 1899it [16:50, 2.67it/s] | |
| Training...: 1949it [17:10, 2.70it/s] | |
| Training...: 1999it [17:30, 2.68it/s] | |
| Training...: 2049it [17:50, 2.70it/s] | |
| Training...: 2099it [18:10, 2.67it/s] | |
| Training...: 2149it [18:30, 2.68it/s] | |
| Training...: 2199it [18:50, 2.68it/s] | |
| Training...: 2249it [19:10, 2.68it/s] | |
| Training...: 2299it [19:30, 2.70it/s] | |
| Training...: 2349it [19:50, 2.67it/s] | |
| Training...: 2399it [20:10, 2.70it/s] | |
| Training...: 2449it [20:30, 2.67it/s] | |
| Training...: 2499it [20:50, 2.63it/s] | |
| Training...: 2549it [21:11, 2.68it/s] | |
| Training...: 2599it [21:31, 2.68it/s] | |
| Training...: 2649it [21:51, 2.73it/s] | |
| Training...: 2699it [22:11, 2.67it/s] | |
| Training...: 2749it [22:31, 2.67it/s] | |
| Training...: 2799it [22:51, 2.68it/s] | |
| Training...: 2849it [23:11, 2.64it/s] | |
| Training...: 2899it [23:31, 2.68it/s] | |
| Training...: 2949it [23:51, 2.68it/s] | |
| Training...: 2999it [24:11, 2.74it/s] | |
| Training...: 3058it [24:45, 1.59it/s] | |
| Training...: 3099it [24:51, 2.70it/s] | |
| Training...: 3149it [25:11, 2.67it/s] | |
| Training...: 3199it [25:31, 2.69it/s] | |
| Training...: 3249it [25:51, 2.68it/s] | |
| Training...: 3300it [26:24, 4.01s/it] | |
| Training...: 3354it [26:45, 1.39s/it] | |
| Training...: 3399it [26:51, 2.68it/s] | |
| Training...: 3449it [27:11, 2.70it/s] | |
| Training...: 3499it [27:31, 2.67it/s] | |
| Training...: 3558it [28:05, 1.59it/s] | |
| Training...: 3608it [28:25, 1.59it/s] | |
| Training...: 3658it [28:45, 1.60it/s] | |
| Training...: 3699it [28:52, 2.67it/s] | |
| Training...: 3749it [29:12, 2.67it/s] | |
| Training...: 3804it [29:45, 1.39s/it] | |
| Training...: 3849it [29:52, 2.68it/s] | |
| Training...: 3899it [30:12, 2.69it/s] | |
| Training...: 3956it [30:45, 1.09it/s] | |
| Training...: 3999it [30:52, 2.68it/s] | |
| Training...: 4057it [31:25, 1.46it/s] | |
| Training...: 4099it [31:32, 2.66it/s] | |
| Training...: 4152it [32:05, 2.25s/it] | |
| Training...: 4201it [32:25, 2.88s/it] | |
| Training...: 4249it [32:32, 2.66it/s] | |
| Training...: 4299it [32:52, 2.68it/s] | |
| Training...: 4356it [33:26, 1.09it/s] | |
| Training...: 4399it [33:32, 2.68it/s] | |
| Training...: 4449it [33:52, 2.67it/s] | |
| Training...: 4499it [34:12, 2.69it/s] | |
| Training...: 4549it [34:32, 2.68it/s] | |
| Training...: 4599it [34:52, 2.69it/s] | |
| Training...: 4649it [35:12, 2.68it/s] | |
| Training...: 4703it [35:46, 1.64s/it] | |
| Training...: 4749it [35:52, 2.67it/s] | |
| Training...: 4806it [36:26, 1.09it/s] | |
| Training...: 4849it [36:32, 2.70it/s] | |
| Training...: 4899it [36:53, 2.67it/s] | |
| Training...: 4958it [37:26, 1.59it/s] | |
| Training...: 4999it [37:33, 2.65it/s] | |
| Training...: 5049it [37:53, 2.30it/s] | |
| Training...: 5099it [38:13, 2.68it/s] | |
| Training...: 5152it [38:46, 2.25s/it] | |
| Training...: 5206it [39:06, 1.09it/s] | |
| Training...: 5249it [39:13, 2.68it/s] | |
| Training...: 5299it [39:33, 2.69it/s] | |
| Training...: 5358it [40:07, 1.59it/s] | |
| Training...: 5408it [40:27, 1.58it/s] | |
| Training...: 5460it [40:47, 2.24it/s] | |
| Training...: 5499it [40:53, 2.68it/s] | |
| Training...: 5549it [41:13, 2.70it/s] | |
| Training...: 5599it [41:33, 2.67it/s] | |
| Training...: 5649it [41:53, 2.68it/s] | |
| Training...: 5699it [42:13, 2.67it/s] | |
| Training...: 5756it [42:47, 1.09it/s] | |
| Training...: 5799it [42:53, 2.68it/s] | |
| Training...: 5856it [43:27, 1.09it/s] | |
| Training...: 5906it [43:47, 1.09it/s] | |
| Training...: 5949it [43:53, 2.68it/s] | |
| Training...: 5999it [44:27, 2.69it/s] | |
| Evaluating ...: 0%| | 0/500 [00:00<?, ?it/s] | |
| Training...: 6049it [45:56, 2.66it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6099it [46:16, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6149it [46:36, 2.72it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6199it [46:56, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6249it [47:16, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6299it [47:36, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6349it [47:56, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6399it [48:16, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6449it [48:36, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6499it [48:56, 2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6549it [49:16, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6599it [49:36, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6649it [49:56, 2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6699it [50:16, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6749it [50:36, 2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6799it [50:56, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6849it [51:16, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6899it [51:37, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6949it [51:57, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 6999it [52:17, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7049it [52:37, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7099it [52:57, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7149it [53:17, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7199it [53:37, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7249it [53:57, 2.71it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7299it [54:17, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7349it [54:37, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7399it [54:57, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7449it [55:17, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7499it [55:37, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7549it [55:57, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7599it [56:17, 2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7649it [56:37, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7699it [56:57, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7749it [57:17, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7799it [57:37, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7849it [57:57, 2.69it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7899it [58:17, 2.67it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7949it [58:37, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 7999it [58:57, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8049it [59:18, 2.65it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8099it [59:38, 2.70it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8149it [59:58, 2.68it/s]████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8199it [1:00:18, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8249it [1:00:38, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8299it [1:00:58, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8349it [1:01:18, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8399it [1:01:38, 2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8449it [1:01:58, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8499it [1:02:18, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8549it [1:02:38, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8599it [1:02:58, 2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8649it [1:03:18, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8699it [1:03:38, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8749it [1:03:58, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8799it [1:04:18, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8849it [1:04:38, 2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8899it [1:04:58, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8949it [1:05:18, 2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 8999it [1:05:38, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9049it [1:05:58, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9099it [1:06:18, 2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9149it [1:06:38, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9199it [1:06:58, 2.70it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9249it [1:07:18, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9299it [1:07:39, 2.75it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9349it [1:07:59, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9399it [1:08:19, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9449it [1:08:39, 2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9499it [1:08:59, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9549it [1:09:19, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9599it [1:09:39, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9649it [1:09:59, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9699it [1:10:19, 2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9749it [1:10:39, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9799it [1:10:59, 2.69it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9849it [1:11:19, 2.68it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9899it [1:11:39, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9949it [1:11:59, 2.71it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 9999it [1:12:19, 2.67it/s]██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10049it [1:12:39, 2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10099it [1:12:59, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10149it [1:13:19, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10199it [1:13:39, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10249it [1:13:59, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10299it [1:14:19, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10349it [1:14:39, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10399it [1:14:59, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10449it [1:15:19, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10499it [1:15:39, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10549it [1:16:00, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10599it [1:16:20, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10649it [1:16:40, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10699it [1:17:00, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10749it [1:17:20, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10799it [1:17:40, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10849it [1:18:00, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10899it [1:18:20, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10949it [1:18:40, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 10999it [1:19:00, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11049it [1:19:20, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11099it [1:19:40, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11149it [1:20:00, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11199it [1:20:20, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11249it [1:20:40, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11299it [1:21:00, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11349it [1:21:20, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11399it [1:21:40, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11449it [1:22:00, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11499it [1:22:20, 2.76it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11549it [1:22:40, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11599it [1:23:00, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11649it [1:23:20, 2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11699it [1:23:40, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11749it [1:24:00, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11799it [1:24:21, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11849it [1:24:41, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11899it [1:25:01, 2.70it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11949it [1:25:21, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11999it [1:25:41, 2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 11999it [1:25:54, 2.69it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [01:17<00:00, 7.90it/s] | |
| Training...: 12049it [1:27:05, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12099it [1:27:25, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12200it [1:28:18, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12249it [1:28:25, 2.71it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12299it [1:28:45, 2.67it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12350it [1:29:18, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12400it [1:29:38, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12450it [1:29:58, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12504it [1:30:19, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12554it [1:30:39, 1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12599it [1:30:45, 2.63it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12649it [1:31:05, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12699it [1:31:25, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12750it [1:31:59, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12800it [1:32:19, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12854it [1:32:39, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12906it [1:32:59, 1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 12949it [1:33:06, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13000it [1:33:39, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13052it [1:33:59, 2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13102it [1:34:19, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13152it [1:34:39, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13200it [1:34:59, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13250it [1:35:19, 4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13302it [1:35:39, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13352it [1:35:59, 2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13402it [1:36:19, 2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13452it [1:36:39, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13504it [1:37:00, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13554it [1:37:20, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13604it [1:37:40, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13656it [1:38:00, 1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13706it [1:38:20, 1.08it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13756it [1:38:40, 1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13808it [1:39:00, 1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13858it [1:39:20, 1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13910it [1:39:40, 2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 13954it [1:40:00, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14004it [1:40:20, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14054it [1:40:40, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14108it [1:41:00, 1.59it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14152it [1:41:20, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14210it [1:41:41, 2.25it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14252it [1:42:00, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14300it [1:42:20, 4.01s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14350it [1:42:40, 4.07s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14402it [1:43:00, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14452it [1:43:21, 2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14502it [1:43:41, 2.25s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14552it [1:44:01, 2.24s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14604it [1:44:21, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14654it [1:44:41, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14704it [1:45:01, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14754it [1:45:21, 1.40s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14804it [1:45:41, 1.41s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14854it [1:46:01, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14904it [1:46:21, 1.39s/it]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14956it [1:46:41, 1.09it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| Training...: 14999it [1:47:01, 2.68it/s]█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 500/500 [00:59<00:00, 7.91it/s] | |
| tcmalloc: large alloc 1354776576 bytes == 0x37c662000 @ 0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df | |
| tcmalloc: large alloc 2715181056 bytes == 0x3cda66000 @ 0x7f779c64f680 0x7f779c66fbdd 0x7f7782c0920d 0x7f7782c17340 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c16e87 0x7f7782c12bd3 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a | |
| tcmalloc: large alloc 1530273792 bytes == 0x32311e000 @ 0x7f779c64f680 0x7f779c670824 0x5f7b11 0x7f7782c12c6f 0x7f7782c131fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a 0x68cdc7 0x67e161 0x67e1df 0x67e281 0x67e627 0x6b6e62 0x6b71ed 0x7f779c4640b3 0x5f96de | |
| [02:52:47] - INFO - absl - Saved checkpoint at checkpoint_165000 | |
| [02:52:48] - INFO - huggingface_hub.repository - git version 2.25.1 | |
| git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5) | |