Saving weights and logs of step 255000

checkpoint_255000

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a0fc3d750e1e94a84df473db60db875c94b18ef825c950d6ba08abcd7271afb9
+size 1530270447

events.out.tfevents.1626429561.t1v-n-f5c06ea1-w-0.782479.3.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:45a436bec44dfea2809d645a06db2ef771283532bf125612badb26de71cec05c
-size 2256466
+oid sha256:6baa4dfe14b70daba8c6d14ea658997087fa377200562303f482068decdecc6a
+size 4512750

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0ae1d45c74c0892af03af2f6156aa1d6c21cff644f407de47ad5b18a10b3c17c
+oid sha256:e4f57a1046f9d750c7c442b0cb51c1f3ff5ae3b06db89be5867e0b10668ea146
 size 510090043

wandb/run-20210716_095921-13hxxunp/files/output.log

@@ -1777,3 +1777,1785 @@ tcmalloc: large alloc 1530273792 bytes == 0x321dba000 @  0x7fe91a70f680 0x7fe91a
 [11:53:20] - INFO - absl - Saved checkpoint at checkpoint_240000
 [11:53:21] - INFO - huggingface_hub.repository - git version 2.25.1
 git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)
+[11:53:21] - DEBUG - huggingface_hub.repository - [Repository] is a valid git repo
+[11:54:32] - INFO - huggingface_hub.repository - Uploading LFS objects: 100% (4/4), 2.1 GB | 45 MB/s, done.
+
+
+
+
+
+Training...: 15052it [1:49:39,  2.26s/it]
+
+
+
+
+
+Training...: 15104it [1:49:59,  1.39s/it]
+
+
+
+
+Training...: 15149it [1:50:06,  2.67it/s]
+
+
+
+
+Training...: 15199it [1:50:26,  2.67it/s]
+
+
+
+
+Training...: 15249it [1:50:46,  2.70it/s]
+
+
+
+
+Training...: 15299it [1:51:06,  2.67it/s]
+
+
+
+
+
+Training...: 15358it [1:51:40,  1.59it/s]
+
+
+
+
+
+Training...: 15408it [1:52:00,  1.59it/s]
+
+
+
+
+
+Training...: 15450it [1:52:19,  4.01s/it]
+
+
+
+
+
+Training...: 15500it [1:52:39,  4.01s/it]
+
+
+
+
+
+Training...: 15550it [1:53:00,  4.01s/it]
+
+
+
+
+
+Training...: 15602it [1:53:20,  2.24s/it]
+
+
+
+
+
+Training...: 15654it [1:53:40,  1.39s/it]
+
+
+
+
+Training...: 15699it [1:53:46,  2.67it/s]
+
+
+
+
+
+Training...: 15750it [1:54:20,  4.07s/it]
+
+
+
+
+
+Training...: 15800it [1:54:40,  4.01s/it]
+
+
+
+
+
+Training...: 15852it [1:55:00,  2.24s/it]
+
+
+
+
+
+Training...: 15902it [1:55:20,  2.25s/it]
+
+
+
+
+
+Training...: 15954it [1:55:40,  1.39s/it]
+
+
+
+
+
+Training...: 16004it [1:56:00,  1.39s/it]
+
+
+
+
+
+Training...: 16054it [1:56:20,  1.39s/it]
+
+
+
+
+
+Training...: 16100it [1:56:40,  4.01s/it]
+
+
+
+
+
+Training...: 16152it [1:57:00,  2.25s/it]
+
+
+
+
+
+Training...: 16202it [1:57:20,  2.25s/it]
+
+
+
+
+
+Training...: 16252it [1:57:40,  2.24s/it]
+
+
+
+
+
+Training...: 16304it [1:58:00,  1.39s/it]
+
+
+
+
+
+Training...: 16354it [1:58:20,  1.39s/it]
+
+
+
+
+
+Training...: 16406it [1:58:41,  1.09it/s]
+
+
+
+
+
+Training...: 16450it [1:59:00,  4.01s/it]
+
+
+
+
+
+Training...: 16502it [1:59:20,  2.25s/it]
+
+
+
+
+
+Training...: 16552it [1:59:40,  2.25s/it]
+
+
+
+
+
+Training...: 16602it [2:00:00,  2.24s/it]
+
+
+
+
+
+Training...: 16652it [2:00:20,  2.25s/it]
+
+
+
+
+
+Training...: 16706it [2:00:41,  1.09it/s]
+
+
+
+
+
+Training...: 16756it [2:01:01,  1.09it/s]
+
+
+
+
+
+Training...: 16806it [2:01:21,  1.09it/s]
+
+
+
+
+
+Training...: 16856it [2:01:41,  1.09it/s]
+
+
+
+
+
+Training...: 16906it [2:02:01,  1.09it/s]
+
+
+
+
+
+Training...: 16958it [2:02:21,  1.59it/s]
+
+
+
+
+
+Training...: 17002it [2:02:41,  2.25s/it]
+
+
+
+
+
+Training...: 17050it [2:03:01,  4.01s/it]
+
+
+
+
+
+Training...: 17106it [2:03:21,  1.09it/s]
+
+
+
+
+
+Training...: 17156it [2:03:41,  1.09it/s]
+
+
+
+
+
+Training...: 17206it [2:04:01,  1.09it/s]
+
+
+
+
+
+Training...: 17256it [2:04:21,  1.09it/s]
+
+
+
+
+
+Training...: 17308it [2:04:41,  1.60it/s]
+
+
+
+
+
+Training...: 17358it [2:05:01,  1.59it/s]
+
+
+
+
+
+Training...: 17408it [2:05:21,  1.59it/s]
+
+
+
+
+
+Training...: 17450it [2:05:41,  4.01s/it]
+
+
+
+
+
+Training...: 17502it [2:06:01,  2.25s/it]
+
+
+
+
+
+Training...: 17554it [2:06:21,  1.39s/it]
+
+
+
+
+
+Training...: 17604it [2:06:41,  1.39s/it]
+
+
+
+
+
+Training...: 17654it [2:07:01,  1.39s/it]
+
+
+
+
+
+Training...: 17706it [2:07:22,  1.09it/s]
+
+
+
+
+
+Training...: 17756it [2:07:42,  1.09it/s]
+
+
+
+
+
+Training...: 17800it [2:08:01,  4.12s/it]
+
+
+
+
+
+Training...: 17850it [2:08:21,  4.01s/it]
+
+
+
+
+
+Training...: 17902it [2:08:42,  2.25s/it]
+
+
+
+
+
+Training...: 17954it [2:09:02,  1.39s/it]
+
+
+
+
+
+Training...: 18004it [2:09:22,  1.39s/it]
+
+
+
+
+
+Training...: 18056it [2:09:42,  1.09it/s]
+
+
+
+
+
+Training...: 18106it [2:10:02,  1.09it/s]
+
+
+
+
+
+Training...: 18154it [2:10:22,  1.39s/it]
+
+
+
+
+
+Training...: 18208it [2:10:42,  1.60it/s]
+
+
+
+
+
+Training...: 18250it [2:11:02,  4.01s/it]
+
+
+
+
+
+Training...: 18302it [2:11:22,  2.24s/it]
+
+
+
+
+
+Training...: 18352it [2:11:42,  2.24s/it]
+
+
+
+
+
+Training...: 18404it [2:12:02,  1.39s/it]
+
+
+
+
+
+Training...: 18454it [2:12:22,  1.39s/it]
+
+
+
+
+
+Training...: 18504it [2:12:42,  1.39s/it]
+
+
+
+
+
+Training...: 18556it [2:13:02,  1.09it/s]
+
+
+
+
+
+Training...: 18606it [2:13:22,  1.09it/s]
+
+
+
+
+
+Training...: 18658it [2:13:42,  1.59it/s]
+
+
+
+
+
+Training...: 18708it [2:14:02,  1.59it/s]
+
+
+
+
+
+Training...: 18758it [2:14:23,  1.59it/s]
+
+
+
+
+
+Training...: 18804it [2:14:42,  1.39s/it]
+
+
+
+
+
+Training...: 18854it [2:15:02,  1.39s/it]
+
+
+
+
+
+Training...: 18904it [2:15:22,  1.39s/it]
+
+
+
+
+
+Training...: 18956it [2:15:43,  1.09it/s]
+
+
+
+
+
+Training...: 19006it [2:16:03,  1.09it/s]
+
+
+
+
+
+Training...: 19056it [2:16:23,  1.09it/s]
+
+
+
+
+
+Training...: 19108it [2:16:43,  1.59it/s]
+
+
+
+
+
+Training...: 19158it [2:17:03,  1.59it/s]
+
+
+
+
+
+Training...: 19208it [2:17:23,  1.59it/s]
+
+
+
+
+
+Training...: 19256it [2:17:43,  1.09it/s]
+
+
+
+
+
+Training...: 19302it [2:18:03,  2.24s/it]
+
+
+
+
+
+Training...: 19352it [2:18:23,  2.25s/it]
+
+
+
+
+
+Training...: 19404it [2:18:43,  1.39s/it]
+
+
+
+
+
+Training...: 19454it [2:19:03,  1.39s/it]
+
+
+
+
+
+Training...: 19500it [2:19:23,  4.01s/it]
+
+
+
+
+
+Training...: 19556it [2:19:43,  1.09it/s]
+
+
+
+
+
+Training...: 19606it [2:20:03,  1.09it/s]
+
+
+
+
+
+Training...: 19658it [2:20:23,  1.59it/s]
+
+
+
+
+
+Training...: 19708it [2:20:43,  1.59it/s]
+
+
+
+
+
+Training...: 19752it [2:21:03,  2.24s/it]
+
+
+
+
+
+Training...: 19804it [2:21:23,  1.39s/it]
+
+
+
+
+
+Training...: 19854it [2:21:43,  1.39s/it]
+
+
+
+
+
+Training...: 19906it [2:22:03,  1.09it/s]
+
+
+
+
+
+Training...: 19956it [2:22:23,  1.09it/s]
+
+
+
+
+
+Training...: 20008it [2:22:43,  1.59it/s]
+
+
+
+
+
+Training...: 20058it [2:23:04,  1.60it/s]
+
+
+
+
+
+Training...: 20102it [2:23:23,  2.25s/it]
+
+
+
+
+
+Training...: 20152it [2:23:43,  2.24s/it]
+
+
+
+
+
+Training...: 20202it [2:24:03,  2.25s/it]
+
+
+
+
+
+Training...: 20254it [2:24:23,  1.39s/it]
+
+
+
+
+
+Training...: 20304it [2:24:43,  1.39s/it]
+
+
+
+
+
+Training...: 20354it [2:25:04,  1.39s/it]
+
+
+
+
+
+Training...: 20406it [2:25:24,  1.09it/s]
+
+
+
+
+
+Training...: 20456it [2:25:44,  1.09it/s]
+
+
+
+
+
+Training...: 20512it [2:26:04,  3.11it/s]
+
+
+
+
+
+Training...: 20562it [2:26:24,  3.10it/s]
+
+
+
+
+
+Training...: 20607it [2:26:44,  1.35it/s]
+
+
+
+
+
+Training...: 20662it [2:27:04,  3.11it/s]
+
+
+
+
+Training...: 20706it [2:27:24,  1.09it/s]
+
+
+
+
+
+Training...: 20756it [2:27:44,  1.09it/s]
+
+
+
+
+
+Training...: 20806it [2:28:04,  1.09it/s]
+
+
+
+
+Training...: 20866it [2:28:25,  5.30it/s]
+
+
+
+
+Training...: 20908it [2:28:44,  1.59it/s]
+
+
+
+
+
+Training...: 20960it [2:29:04,  2.25it/s]
+
+
+
+
+Training...: 20999it [2:29:24,  2.69it/s]
+Evaluating ...:   0%|▎                                                                            | 2/500 [00:00<00:24, 19.94it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 21049it [2:30:34,  2.66it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21099it [2:30:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21149it [2:31:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21199it [2:31:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21249it [2:31:55,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21299it [2:32:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21349it [2:32:35,  2.63it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21399it [2:32:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21449it [2:33:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21499it [2:33:35,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21549it [2:33:55,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21599it [2:34:15,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 21649it [2:34:35,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21700it [2:35:08,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21750it [2:35:28,  3.92s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21802it [2:35:48,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21852it [2:36:08,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21902it [2:36:28,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 21954it [2:36:49,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22004it [2:37:09,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 22049it [2:37:15,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22100it [2:37:49,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22152it [2:38:09,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22202it [2:38:29,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22252it [2:38:49,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22302it [2:39:09,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22354it [2:39:29,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22404it [2:39:49,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22454it [2:40:09,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22504it [2:40:29,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22554it [2:40:49,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 22599it [2:40:56,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22650it [2:41:29,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22700it [2:41:49,  4.01s/it]█���█████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22750it [2:42:09,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22800it [2:42:29,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22860it [2:42:50,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22902it [2:43:09,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 22954it [2:43:29,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23004it [2:43:49,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23050it [2:44:09,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23106it [2:44:30,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23156it [2:44:50,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23206it [2:45:10,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23256it [2:45:30,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23306it [2:45:50,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23358it [2:46:10,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23408it [2:46:30,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23460it [2:46:50,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23510it [2:47:10,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23554it [2:47:30,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23604it [2:47:50,  1.40s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23656it [2:48:10,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23706it [2:48:30,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23756it [2:48:50,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23806it [2:49:10,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23858it [2:49:30,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23908it [2:49:50,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 23958it [2:50:10,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24010it [2:50:31,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24060it [2:50:51,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24110it [2:51:11,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24157it [2:51:31,  1.36it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24212it [2:51:51,  3.10it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24256it [2:52:11,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24306it [2:52:31,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24356it [2:52:51,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24408it [2:53:11,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24458it [2:53:31,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24508it [2:53:51,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24560it [2:54:11,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24610it [2:54:31,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24660it [2:54:51,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24710it [2:55:11,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24762it [2:55:31,  3.10it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+
+Training...: 24812it [2:55:51,  3.11it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24862it [2:56:11,  3.10it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24916it [2:56:32,  5.38it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 24968it [2:56:52,  6.82it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25014it [2:57:12,  3.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25068it [2:57:32,  6.71it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25120it [2:57:52,  8.24it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25164it [2:58:12,  4.14it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25214it [2:58:32,  4.15it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25264it [2:58:52,  3.92it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25318it [2:59:12,  6.74it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25368it [2:59:32,  6.77it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25418it [2:59:52,  6.77it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25470it [3:00:12,  8.24it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25508it [3:00:32,  1.56it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25564it [3:00:52,  4.15it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25614it [3:01:12,  4.15it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25664it [3:01:32,  4.15it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25714it [3:01:52,  4.14it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25764it [3:02:12,  4.15it/s]███████████���███████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25816it [3:02:32,  5.39it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25866it [3:02:52,  5.37it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25916it [3:03:12,  5.38it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 25968it [3:03:33,  6.78it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26020it [3:03:53,  8.22it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26070it [3:04:13,  8.21it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26118it [3:04:33,  5.75it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26172it [3:04:53,  9.60it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26222it [3:05:13,  9.65it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26266it [3:05:33,  5.36it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26316it [3:05:53,  5.40it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26366it [3:06:13,  5.04it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26420it [3:06:33,  8.16it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26472it [3:06:53,  9.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26522it [3:07:13,  9.72it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26564it [3:07:33,  4.14it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26611it [3:07:53,  2.84it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26666it [3:08:13,  5.32it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26716it [3:08:33,  5.40it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26766it [3:08:53,  5.36it/s]███████████████████████████████████████████████████���███| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26818it [3:09:13,  6.77it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26868it [3:09:33,  6.75it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26920it [3:09:53,  8.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+
+Training...: 26970it [3:10:13,  8.23it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+
+
+
+Training...: 26999it [3:10:32,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.91it/s]
+Evaluating ...:   4%|██▋                                                                         | 18/500 [00:00<00:20, 23.05it/s]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Training...: 27052it [3:11:56,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 27099it [3:12:03,  2.66it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 27149it [3:12:23,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27200it [3:12:56,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27250it [3:13:16,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27300it [3:13:36,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27350it [3:13:56,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27400it [3:14:16,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27452it [3:14:37,  2.25s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27502it [3:14:57,  2.24s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 27549it [3:15:03,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 27604it [3:15:37,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27654it [3:15:57,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27700it [3:16:17,  4.01s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 27749it [3:16:24,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 27799it [3:16:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 27856it [3:17:17,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 27899it [3:17:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 27954it [3:17:57,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28004it [3:18:17,  1.39s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 28049it [3:18:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 28106it [3:18:57,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28156it [3:19:17,  1.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 28199it [3:19:24,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 28258it [3:19:58,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28308it [3:20:18,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28360it [3:20:38,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28410it [3:20:58,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28452it [3:21:17,  2.28s/it]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 28499it [3:21:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28549it [3:21:44,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28599it [3:22:04,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28649it [3:22:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28699it [3:22:44,  2.69it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28749it [3:23:04,  2.67it/s]████████████████████████████████████████████��██████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28799it [3:23:24,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 28858it [3:23:58,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28908it [3:24:18,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 28960it [3:24:38,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 29010it [3:24:58,  2.25it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29049it [3:25:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+
+Training...: 29112it [3:25:39,  3.10it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 29162it [3:25:59,  3.09it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 29212it [3:26:19,  3.11it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+Training...: 29249it [3:26:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 29308it [3:26:58,  1.59it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+
+Training...: 29360it [3:27:19,  2.26it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29399it [3:27:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29449it [3:27:45,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29499it [3:28:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29549it [3:28:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29599it [3:28:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29649it [3:29:05,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29699it [3:29:25,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29749it [3:29:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29799it [3:30:05,  2.68it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29849it [3:30:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29899it [3:30:45,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29949it [3:31:05,  2.70it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+
+
+Training...: 29999it [3:31:25,  2.67it/s]███████████████████████████████████████████████████████| 500/500 [00:59<00:00,  7.90it/s]
+
+
+tcmalloc: large alloc 2715181056 bytes == 0x433920000 @  0x7fe91a70f680 0x7fe91a72fbdd 0x7fe900cc920d 0x7fe900cd7340 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd6e87 0x7fe900cd2bd3 0x7fe900cd31fe 0x504d56 0x56acb6 0x568d9a 0x5f5b33 0x56bc9b 0x5f5956 0x56aadf 0x5f5956 0x56fb87 0x568d9a 0x5f5b33 0x56bc9b 0x568d9a
+[13:37:01] - INFO - absl - Saved checkpoint at checkpoint_255000
+[13:37:02] - INFO - huggingface_hub.repository - git version 2.25.1
+git-lfs/2.9.2 (GitHub; linux amd64; go 1.13.5)

wandb/run-20210716_095921-13hxxunp/files/wandb-summary.json

@@ -1 +1 @@
-{"training_step": 240000, "learning_rate": 2.606575253594201e-05, "train_loss": 1.9378972053527832, "_runtime": 6829, "_timestamp": 1626436391, "_step": 302, "eval_step": 240000, "eval_accuracy": 0.6196709871292114, "eval_loss": 1.9561585187911987}
+{"training_step": 255000, "learning_rate": 2.5809171347646043e-05, "train_loss": 2.0180368423461914, "_runtime": 13051, "_timestamp": 1626442613, "_step": 604, "eval_step": 252000, "eval_accuracy": 0.6234615445137024, "eval_loss": 1.9333853721618652}