Hugging Face's logo

IliyanGochev
/
whisper-large-v2-bg-peft

PEFT
TensorBoard
Model card Files Metrics Community
1
IliyanGochev commited on
Commit
572e560
•
1 Parent(s): c5f9d37

Training in progress epoch 2

Browse files
Files changed (11) hide show
  1. README.md +15 -1
  2. Whisper PEFT Fine-Tuning/events.out.tfevents.1696436338.MLbox.300106.0 +2 -2
  3. adapter_config.json +557 -557
  4. adapter_model.bin +2 -2
  5. best_checkpoint/README.md +65 -0
  6. best_checkpoint/adapter_config.json +553 -553
  7. best_checkpoint/adapter_model.bin +2 -2
  8. best_checkpoint/optimizer.bin +1 -1
  9. best_checkpoint/random_states_0.pkl +1 -1
  10. best_checkpoint/random_states_1.pkl +1 -1
  11. best_checkpoint/scheduler.bin +1 -1
README.md CHANGED
@@ -1,6 +1,7 @@
1
  ---
2
  library_name: peft
3
- base_model: openai/whisper-large-v2
 
4
  ---
5
  ## Training procedure
6
 
@@ -41,6 +42,18 @@ The following `bitsandbytes` quantization config was used during training:
41
  - bnb_4bit_use_double_quant: False
42
  - bnb_4bit_compute_dtype: float32
43
 
 
 
 
 
 
 
 
 
 
 
 
 
44
  The following `bitsandbytes` quantization config was used during training:
45
  - quant_method: bitsandbytes
46
  - load_in_8bit: True
@@ -70,6 +83,7 @@ The following `bitsandbytes` quantization config was used during training:
70
  - PEFT 0.5.0
71
  - PEFT 0.5.0
72
  - PEFT 0.5.0
 
73
 
74
  - PEFT 0.5.0.dev0
75
  `bitsandbytes` quantization config was used during training:
 
1
  ---
2
  library_name: peft
3
+ ---
4
+ _model: openai/whisper-large-v2
5
  ---
6
  ## Training procedure
7
 
 
42
  - bnb_4bit_use_double_quant: False
43
  - bnb_4bit_compute_dtype: float32
44
 
45
+ The following `bitsandbytes` quantization config was used during training:
46
+ - quant_method: bitsandbytes
47
+ - load_in_8bit: True
48
+ - load_in_4bit: False
49
+ - llm_int8_threshold: 6.0
50
+ - llm_int8_skip_modules: None
51
+ - llm_int8_enable_fp32_cpu_offload: False
52
+ - llm_int8_has_fp16_weight: False
53
+ - bnb_4bit_quant_type: fp4
54
+ - bnb_4bit_use_double_quant: False
55
+ - bnb_4bit_compute_dtype: float32
56
+
57
  The following `bitsandbytes` quantization config was used during training:
58
  - quant_method: bitsandbytes
59
  - load_in_8bit: True
 
83
  - PEFT 0.5.0
84
  - PEFT 0.5.0
85
  - PEFT 0.5.0
86
+ - PEFT 0.5.0
87
 
88
  - PEFT 0.5.0.dev0
89
  `bitsandbytes` quantization config was used during training:
Whisper PEFT Fine-Tuning/events.out.tfevents.1696436338.MLbox.300106.0 CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f24aba921f7bf49198b994421ef0106c1208a6f695275fff7cd3a16dfeb8f2c7
3
- size 2077
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d521dbad2df988229e7d232888a76bd619f4d2442718e1b869081010b115fb43
3
+ size 3073
adapter_config.json CHANGED
@@ -36,17 +36,17 @@
36
  false
37
  ],
38
  "model.decoder.layers.0.encoder_attn.out_proj.lora_E": [
39
- true,
40
- true,
41
  true,
42
  false,
43
- true,
44
- true,
45
  false,
46
  false,
47
  true,
 
 
48
  true,
49
  true,
 
50
  false
51
  ],
52
  "model.decoder.layers.0.encoder_attn.q_proj.lora_E": [
@@ -67,7 +67,7 @@
67
  true,
68
  false,
69
  false,
70
- true,
71
  true,
72
  false,
73
  false,
@@ -79,7 +79,7 @@
79
  ],
80
  "model.decoder.layers.0.fc1.lora_E": [
81
  true,
82
- true,
83
  true,
84
  true,
85
  true,
@@ -102,7 +102,7 @@
102
  true,
103
  true,
104
  true,
105
- false,
106
  true
107
  ],
108
  "model.decoder.layers.0.self_attn.k_proj.lora_E": [
@@ -121,13 +121,13 @@
121
  ],
122
  "model.decoder.layers.0.self_attn.out_proj.lora_E": [
123
  false,
124
- true,
125
- true,
126
  false,
127
- true,
128
- true,
129
  false,
130
  true,
 
 
131
  true,
132
  true,
133
  false,
@@ -143,7 +143,7 @@
143
  false,
144
  false,
145
  false,
146
- true,
147
  false,
148
  false
149
  ],
@@ -151,14 +151,14 @@
151
  false,
152
  true,
153
  false,
154
- true,
155
  false,
156
  false,
157
- true,
158
  false,
159
  true,
160
  false,
161
  false,
 
 
162
  false
163
  ],
164
  "model.decoder.layers.1.encoder_attn.k_proj.lora_E": [
@@ -186,7 +186,7 @@
186
  false,
187
  false,
188
  false,
189
- true,
190
  false
191
  ],
192
  "model.decoder.layers.1.encoder_attn.q_proj.lora_E": [
@@ -211,9 +211,9 @@
211
  false,
212
  false,
213
  true,
214
- true,
215
  false,
216
- true,
 
217
  false,
218
  true
219
  ],
@@ -262,15 +262,15 @@
262
  "model.decoder.layers.1.self_attn.out_proj.lora_E": [
263
  true,
264
  true,
265
- true,
266
- true,
267
- true,
268
  true,
269
  true,
270
  false,
271
- true,
272
  false,
273
- true,
 
 
 
274
  false
275
  ],
276
  "model.decoder.layers.1.self_attn.q_proj.lora_E": [
@@ -289,16 +289,16 @@
289
  ],
290
  "model.decoder.layers.1.self_attn.v_proj.lora_E": [
291
  false,
292
- true,
293
  false,
294
  false,
295
  false,
296
  false,
297
- true,
298
- true,
299
  false,
300
- true,
301
- true,
 
 
 
302
  false
303
  ],
304
  "model.decoder.layers.10.encoder_attn.k_proj.lora_E": [
@@ -318,15 +318,15 @@
318
  "model.decoder.layers.10.encoder_attn.out_proj.lora_E": [
319
  false,
320
  false,
321
- true,
322
- true,
323
  false,
324
- true,
325
  false,
326
  false,
327
  false,
328
  false,
329
- true,
 
 
 
330
  false
331
  ],
332
  "model.decoder.layers.10.encoder_attn.q_proj.lora_E": [
@@ -340,21 +340,21 @@
340
  false,
341
  false,
342
  false,
343
- true,
344
  false
345
  ],
346
  "model.decoder.layers.10.encoder_attn.v_proj.lora_E": [
347
  false,
348
  false,
349
- true,
350
- true,
351
- true,
352
  false,
353
  true,
354
  false,
 
355
  true,
356
  false,
357
  false,
 
 
358
  true
359
  ],
360
  "model.decoder.layers.10.fc1.lora_E": [
@@ -373,7 +373,7 @@
373
  ],
374
  "model.decoder.layers.10.fc2.lora_E": [
375
  true,
376
- true,
377
  true,
378
  true,
379
  true,
@@ -402,14 +402,14 @@
402
  "model.decoder.layers.10.self_attn.out_proj.lora_E": [
403
  true,
404
  true,
405
- true,
406
- true,
407
  false,
408
  true,
409
  true,
410
  false,
411
  true,
412
- true,
413
  false,
414
  true
415
  ],
@@ -428,7 +428,7 @@
428
  false
429
  ],
430
  "model.decoder.layers.10.self_attn.v_proj.lora_E": [
431
- true,
432
  false,
433
  false,
434
  true,
@@ -462,7 +462,7 @@
462
  false,
463
  false,
464
  true,
465
- true,
466
  false,
467
  false,
468
  false,
@@ -485,12 +485,12 @@
485
  ],
486
  "model.decoder.layers.11.encoder_attn.v_proj.lora_E": [
487
  false,
488
- true,
489
  false,
490
  true,
491
  false,
492
  false,
493
- true,
494
  false,
495
  true,
496
  true,
@@ -509,7 +509,7 @@
509
  true,
510
  true,
511
  true,
512
- true
513
  ],
514
  "model.decoder.layers.11.fc2.lora_E": [
515
  true,
@@ -546,7 +546,7 @@
546
  true,
547
  false,
548
  false,
549
- true,
550
  false,
551
  false,
552
  true,
@@ -573,12 +573,12 @@
573
  true,
574
  false,
575
  false,
576
- true,
577
  true,
578
  false,
579
  false,
580
  false,
581
- true,
582
  false
583
  ],
584
  "model.decoder.layers.12.encoder_attn.k_proj.lora_E": [
@@ -606,7 +606,7 @@
606
  false,
607
  false,
608
  false,
609
- true,
610
  false
611
  ],
612
  "model.decoder.layers.12.encoder_attn.q_proj.lora_E": [
@@ -628,7 +628,7 @@
628
  false,
629
  false,
630
  true,
631
- true,
632
  false,
633
  false,
634
  false,
@@ -680,16 +680,16 @@
680
  false
681
  ],
682
  "model.decoder.layers.12.self_attn.out_proj.lora_E": [
683
- true,
684
  false,
685
- true,
686
- true,
687
  false,
688
- true,
 
 
 
 
689
  false,
690
  true,
691
- true,
692
- true,
693
  true,
694
  false
695
  ],
@@ -710,7 +710,7 @@
710
  "model.decoder.layers.12.self_attn.v_proj.lora_E": [
711
  false,
712
  false,
713
- true,
714
  false,
715
  false,
716
  false,
@@ -719,7 +719,7 @@
719
  false,
720
  false,
721
  false,
722
- true
723
  ],
724
  "model.decoder.layers.13.encoder_attn.k_proj.lora_E": [
725
  false,
@@ -737,17 +737,17 @@
737
  ],
738
  "model.decoder.layers.13.encoder_attn.out_proj.lora_E": [
739
  false,
740
- true,
741
- true,
742
- true,
743
  false,
744
- true,
745
  false,
746
  true,
747
- true,
748
- true,
749
- true,
750
- true
 
 
 
 
751
  ],
752
  "model.decoder.layers.13.encoder_attn.q_proj.lora_E": [
753
  false,
@@ -764,15 +764,15 @@
764
  false
765
  ],
766
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
 
 
 
767
  false,
768
  true,
769
  true,
770
  true,
771
- true,
772
- true,
773
- true,
774
- true,
775
- true,
776
  true,
777
  true,
778
  true
@@ -809,7 +809,7 @@
809
  false,
810
  false,
811
  false,
812
- true,
813
  false,
814
  false,
815
  false,
@@ -820,12 +820,12 @@
820
  false
821
  ],
822
  "model.decoder.layers.13.self_attn.out_proj.lora_E": [
 
823
  false,
824
  true,
 
825
  true,
826
- true,
827
- true,
828
- true,
829
  true,
830
  false,
831
  true,
@@ -849,17 +849,17 @@
849
  ],
850
  "model.decoder.layers.13.self_attn.v_proj.lora_E": [
851
  false,
852
- true,
853
  false,
854
  false,
855
  false,
856
  false,
857
  false,
858
  false,
859
- true,
860
  false,
861
  false,
862
- true
 
 
863
  ],
864
  "model.decoder.layers.14.encoder_attn.k_proj.lora_E": [
865
  false,
@@ -927,7 +927,7 @@
927
  true,
928
  true,
929
  true,
930
- true,
931
  true,
932
  true
933
  ],
@@ -940,7 +940,7 @@
940
  true,
941
  true,
942
  true,
943
- true,
944
  true,
945
  true,
946
  true
@@ -949,7 +949,7 @@
949
  false,
950
  false,
951
  false,
952
- true,
953
  false,
954
  false,
955
  false,
@@ -957,19 +957,19 @@
957
  false,
958
  false,
959
  true,
960
- true
961
  ],
962
  "model.decoder.layers.14.self_attn.out_proj.lora_E": [
963
  false,
964
  true,
965
  true,
966
  true,
967
- true,
968
  false,
969
  true,
970
  true,
971
  true,
972
- true,
973
  false,
974
  true
975
  ],
@@ -1017,15 +1017,15 @@
1017
  ],
1018
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1019
  true,
 
 
 
1020
  true,
 
1021
  true,
1022
  true,
1023
  true,
1024
- true,
1025
- true,
1026
- true,
1027
- true,
1028
- true,
1029
  true,
1030
  true
1031
  ],
@@ -1044,7 +1044,7 @@
1044
  false
1045
  ],
1046
  "model.decoder.layers.15.encoder_attn.v_proj.lora_E": [
1047
- true,
1048
  true,
1049
  true,
1050
  true,
@@ -1077,7 +1077,7 @@
1077
  true,
1078
  true,
1079
  true,
1080
- true,
1081
  true,
1082
  true,
1083
  true,
@@ -1129,9 +1129,9 @@
1129
  ],
1130
  "model.decoder.layers.15.self_attn.v_proj.lora_E": [
1131
  true,
 
1132
  true,
1133
- true,
1134
- true,
1135
  true,
1136
  false,
1137
  false,
@@ -1158,16 +1158,16 @@
1158
  "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
1159
  true,
1160
  true,
1161
- true,
1162
  false,
1163
  false,
1164
  true,
1165
  true,
1166
  false,
1167
- true,
1168
  false,
1169
  true,
1170
- true
1171
  ],
1172
  "model.decoder.layers.16.encoder_attn.q_proj.lora_E": [
1173
  false,
@@ -1181,7 +1181,7 @@
1181
  false,
1182
  false,
1183
  false,
1184
- true
1185
  ],
1186
  "model.decoder.layers.16.encoder_attn.v_proj.lora_E": [
1187
  true,
@@ -1212,11 +1212,11 @@
1212
  true
1213
  ],
1214
  "model.decoder.layers.16.fc2.lora_E": [
 
1215
  true,
1216
  true,
1217
  true,
1218
- true,
1219
- true,
1220
  true,
1221
  true,
1222
  true,
@@ -1230,7 +1230,7 @@
1230
  false,
1231
  false,
1232
  false,
1233
- true,
1234
  false,
1235
  false,
1236
  false,
@@ -1263,7 +1263,7 @@
1263
  false,
1264
  false,
1265
  false,
1266
- true,
1267
  false,
1268
  false
1269
  ],
@@ -1297,17 +1297,17 @@
1297
  ],
1298
  "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
1299
  true,
 
1300
  true,
 
 
 
 
 
 
 
1301
  true,
1302
- true,
1303
- true,
1304
- true,
1305
- true,
1306
- true,
1307
- true,
1308
- true,
1309
- true,
1310
- true
1311
  ],
1312
  "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
1313
  false,
@@ -1357,10 +1357,10 @@
1357
  true,
1358
  false,
1359
  true,
 
1360
  true,
1361
  true,
1362
- true,
1363
- true,
1364
  true,
1365
  true,
1366
  true
@@ -1372,10 +1372,10 @@
1372
  false,
1373
  false,
1374
  false,
1375
- true,
1376
  false,
1377
  false,
1378
- true,
 
1379
  false,
1380
  false
1381
  ],
@@ -1390,7 +1390,7 @@
1390
  false,
1391
  true,
1392
  false,
1393
- true,
1394
  true
1395
  ],
1396
  "model.decoder.layers.17.self_attn.q_proj.lora_E": [
@@ -1415,7 +1415,7 @@
1415
  true,
1416
  true,
1417
  true,
1418
- true,
1419
  true,
1420
  true,
1421
  false,
@@ -1437,27 +1437,27 @@
1437
  ],
1438
  "model.decoder.layers.18.encoder_attn.out_proj.lora_E": [
1439
  false,
1440
- true,
1441
- true,
1442
- true,
1443
  false,
1444
- true,
1445
  false,
1446
  true,
1447
  false,
 
 
1448
  true,
1449
- true,
1450
- true
 
 
1451
  ],
1452
  "model.decoder.layers.18.encoder_attn.q_proj.lora_E": [
1453
  false,
1454
  false,
1455
  false,
1456
- true,
1457
  false,
1458
  false,
1459
  false,
1460
- true,
 
1461
  false,
1462
  false,
1463
  false,
@@ -1479,7 +1479,7 @@
1479
  ],
1480
  "model.decoder.layers.18.fc1.lora_E": [
1481
  true,
1482
- true,
1483
  true,
1484
  true,
1485
  true,
@@ -1497,7 +1497,7 @@
1497
  true,
1498
  false,
1499
  false,
1500
- true,
1501
  true,
1502
  true,
1503
  true,
@@ -1510,14 +1510,14 @@
1510
  false,
1511
  false,
1512
  false,
1513
- true,
1514
  false,
1515
  false,
1516
  false,
1517
  false,
1518
  false,
1519
  false,
1520
- true
 
1521
  ],
1522
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1523
  true,
@@ -1527,31 +1527,31 @@
1527
  true,
1528
  true,
1529
  true,
1530
- true,
1531
  true,
1532
  true,
1533
  true,
1534
  true
1535
  ],
1536
  "model.decoder.layers.18.self_attn.q_proj.lora_E": [
1537
- true,
1538
  false,
1539
  false,
1540
  false,
1541
  false,
1542
  false,
1543
- true,
1544
  false,
1545
  false,
1546
  false,
1547
  false,
1548
- true
 
 
1549
  ],
1550
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1551
  true,
 
1552
  true,
1553
- true,
1554
- true,
1555
  true,
1556
  true,
1557
  false,
@@ -1576,17 +1576,17 @@
1576
  false
1577
  ],
1578
  "model.decoder.layers.19.encoder_attn.out_proj.lora_E": [
 
1579
  true,
 
 
 
 
 
1580
  true,
1581
- true,
1582
- true,
1583
- true,
1584
- true,
1585
- true,
1586
- true,
1587
- true,
1588
- true,
1589
- true,
1590
  true
1591
  ],
1592
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
@@ -1607,15 +1607,15 @@
1607
  true,
1608
  true,
1609
  false,
1610
- true,
1611
- true,
1612
  false,
1613
- true,
1614
- true,
1615
  true,
1616
  false,
1617
  false,
1618
- true
 
 
1619
  ],
1620
  "model.decoder.layers.19.fc1.lora_E": [
1621
  true,
@@ -1636,7 +1636,7 @@
1636
  false,
1637
  true,
1638
  false,
1639
- true,
1640
  true,
1641
  false,
1642
  true,
@@ -1647,22 +1647,22 @@
1647
  ],
1648
  "model.decoder.layers.19.self_attn.k_proj.lora_E": [
1649
  false,
1650
- true,
1651
  false,
1652
  false,
1653
  true,
1654
  false,
1655
  false,
1656
- true,
1657
- true,
1658
  false,
1659
  true,
1660
  false
1661
  ],
1662
  "model.decoder.layers.19.self_attn.out_proj.lora_E": [
1663
- true,
1664
  true,
1665
  false,
 
1666
  true,
1667
  false,
1668
  true,
@@ -1716,17 +1716,17 @@
1716
  false
1717
  ],
1718
  "model.decoder.layers.2.encoder_attn.out_proj.lora_E": [
1719
- true,
1720
  false,
1721
- true,
1722
- true,
1723
- true,
1724
  false,
1725
- true,
1726
- true,
1727
  false,
1728
- true,
1729
- true,
 
 
 
 
 
 
1730
  false
1731
  ],
1732
  "model.decoder.layers.2.encoder_attn.q_proj.lora_E": [
@@ -1744,18 +1744,18 @@
1744
  false
1745
  ],
1746
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1747
- true,
1748
- true,
1749
- true,
1750
- true,
1751
- true,
1752
- true,
1753
  false,
1754
  true,
1755
  false,
1756
  true,
 
 
 
1757
  true,
1758
- true
 
1759
  ],
1760
  "model.decoder.layers.2.fc1.lora_E": [
1761
  true,
@@ -1800,18 +1800,18 @@
1800
  false
1801
  ],
1802
  "model.decoder.layers.2.self_attn.out_proj.lora_E": [
1803
- true,
1804
  true,
1805
  true,
1806
  false,
 
1807
  true,
1808
  true,
 
1809
  true,
1810
  true,
1811
  true,
1812
  true,
1813
- true,
1814
- false
1815
  ],
1816
  "model.decoder.layers.2.self_attn.q_proj.lora_E": [
1817
  false,
@@ -1835,9 +1835,9 @@
1835
  false,
1836
  false,
1837
  false,
1838
- true,
1839
  false,
1840
- true,
 
1841
  false,
1842
  false
1843
  ],
@@ -1856,18 +1856,18 @@
1856
  false
1857
  ],
1858
  "model.decoder.layers.20.encoder_attn.out_proj.lora_E": [
 
1859
  true,
 
1860
  true,
1861
  true,
 
1862
  true,
1863
  true,
1864
  true,
1865
  true,
1866
  true,
1867
- true,
1868
- true,
1869
- true,
1870
- true
1871
  ],
1872
  "model.decoder.layers.20.encoder_attn.q_proj.lora_E": [
1873
  false,
@@ -1875,7 +1875,7 @@
1875
  false,
1876
  false,
1877
  false,
1878
- true,
1879
  false,
1880
  false,
1881
  false,
@@ -1884,13 +1884,13 @@
1884
  false
1885
  ],
1886
  "model.decoder.layers.20.encoder_attn.v_proj.lora_E": [
 
1887
  true,
1888
  true,
1889
  true,
1890
  true,
1891
  true,
1892
- true,
1893
- true,
1894
  true,
1895
  true,
1896
  true,
@@ -1926,7 +1926,7 @@
1926
  true
1927
  ],
1928
  "model.decoder.layers.20.self_attn.k_proj.lora_E": [
1929
- false,
1930
  true,
1931
  true,
1932
  true,
@@ -1949,7 +1949,7 @@
1949
  false,
1950
  false,
1951
  false,
1952
- true,
1953
  true,
1954
  true
1955
  ],
@@ -1971,14 +1971,14 @@
1971
  false,
1972
  false,
1973
  false,
1974
- true,
1975
- true,
1976
- true,
1977
  false,
1978
- true,
1979
  false,
1980
  false,
1981
  true,
 
 
 
1982
  true
1983
  ],
1984
  "model.decoder.layers.21.encoder_attn.k_proj.lora_E": [
@@ -1996,17 +1996,17 @@
1996
  false
1997
  ],
1998
  "model.decoder.layers.21.encoder_attn.out_proj.lora_E": [
1999
- true,
2000
- true,
2001
- true,
2002
- true,
2003
- true,
2004
  false,
2005
  true,
 
2006
  true,
 
 
2007
  true,
2008
  true,
2009
- true,
 
2010
  true
2011
  ],
2012
  "model.decoder.layers.21.encoder_attn.q_proj.lora_E": [
@@ -2015,7 +2015,7 @@
2015
  false,
2016
  false,
2017
  false,
2018
- true,
2019
  false,
2020
  false,
2021
  false,
@@ -2056,7 +2056,7 @@
2056
  true,
2057
  true,
2058
  true,
2059
- true,
2060
  true,
2061
  true,
2062
  true,
@@ -2071,7 +2071,7 @@
2071
  true,
2072
  true,
2073
  true,
2074
- true,
2075
  true,
2076
  false,
2077
  true,
@@ -2085,8 +2085,8 @@
2085
  true,
2086
  true,
2087
  false,
2088
- true,
2089
- true,
2090
  true,
2091
  true,
2092
  false,
@@ -2097,20 +2097,18 @@
2097
  true,
2098
  false,
2099
  false,
2100
- true,
2101
- true,
2102
  true,
2103
  true,
2104
  false,
 
2105
  true,
2106
  true,
2107
  false,
2108
  false
2109
  ],
2110
  "model.decoder.layers.21.self_attn.v_proj.lora_E": [
2111
- true,
2112
- true,
2113
- true,
2114
  true,
2115
  true,
2116
  true,
@@ -2118,7 +2116,9 @@
2118
  true,
2119
  false,
2120
  true,
 
2121
  true,
 
2122
  true
2123
  ],
2124
  "model.decoder.layers.22.encoder_attn.k_proj.lora_E": [
@@ -2136,15 +2136,15 @@
2136
  false
2137
  ],
2138
  "model.decoder.layers.22.encoder_attn.out_proj.lora_E": [
2139
- true,
2140
- true,
2141
  false,
2142
  true,
2143
  false,
2144
  true,
 
2145
  true,
2146
  true,
2147
  true,
 
2148
  true,
2149
  true,
2150
  true
@@ -2196,7 +2196,7 @@
2196
  false,
2197
  true,
2198
  true,
2199
- true,
2200
  true,
2201
  true,
2202
  true,
@@ -2206,13 +2206,13 @@
2206
  false
2207
  ],
2208
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2209
- true,
2210
  true,
2211
  true,
2212
  false,
2213
- true,
2214
  false,
2215
- true,
 
2216
  false,
2217
  false,
2218
  false,
@@ -2243,8 +2243,8 @@
2243
  false,
2244
  false,
2245
  false,
2246
- true,
2247
- true,
2248
  false
2249
  ],
2250
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
@@ -2253,12 +2253,12 @@
2253
  false,
2254
  true,
2255
  true,
 
2256
  true,
2257
  true,
2258
  true,
2259
  true,
2260
- true,
2261
- true,
2262
  true
2263
  ],
2264
  "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
@@ -2298,7 +2298,7 @@
2298
  false,
2299
  false,
2300
  false,
2301
- true,
2302
  false,
2303
  false,
2304
  false
@@ -2339,24 +2339,24 @@
2339
  true,
2340
  false,
2341
  true,
2342
- true,
2343
  true,
2344
  false,
2345
  true,
2346
  true
2347
  ],
2348
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2349
- true,
2350
- true,
2351
  false,
2352
  true,
2353
  true,
 
 
2354
  true,
 
2355
  true,
2356
- true,
2357
- true,
2358
- true,
2359
- true,
2360
  true
2361
  ],
2362
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
@@ -2374,7 +2374,7 @@
2374
  false
2375
  ],
2376
  "model.decoder.layers.23.self_attn.q_proj.lora_E": [
2377
- true,
2378
  false,
2379
  false,
2380
  false,
@@ -2455,13 +2455,13 @@
2455
  true,
2456
  true,
2457
  true,
2458
- true
2459
  ],
2460
  "model.decoder.layers.24.fc1.lora_E": [
2461
  true,
2462
  true,
2463
  true,
2464
- true,
2465
  true,
2466
  true,
2467
  true,
@@ -2497,47 +2497,47 @@
2497
  true,
2498
  true,
2499
  true,
2500
- true
2501
  ],
2502
  "model.decoder.layers.24.self_attn.out_proj.lora_E": [
2503
- true,
2504
- true,
2505
  true,
2506
  false,
 
 
2507
  true,
2508
  true,
2509
- true,
2510
  true,
2511
  true,
2512
  false,
2513
- true,
2514
  false
2515
  ],
2516
  "model.decoder.layers.24.self_attn.q_proj.lora_E": [
2517
- true,
2518
- true,
2519
  false,
2520
  false,
2521
- true,
2522
- true,
2523
- true,
2524
  false,
2525
- true,
2526
- true,
2527
- true,
 
 
 
 
 
2528
  false
2529
  ],
2530
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2531
  true,
2532
  true,
 
 
2533
  true,
2534
  true,
2535
  true,
 
2536
  true,
2537
- true,
2538
- true,
2539
- true,
2540
- true,
2541
  true,
2542
  true
2543
  ],
@@ -2572,7 +2572,6 @@
2572
  "model.decoder.layers.25.encoder_attn.q_proj.lora_E": [
2573
  false,
2574
  false,
2575
- true,
2576
  false,
2577
  false,
2578
  false,
@@ -2580,7 +2579,8 @@
2580
  false,
2581
  false,
2582
  false,
2583
- true,
 
2584
  false
2585
  ],
2586
  "model.decoder.layers.25.encoder_attn.v_proj.lora_E": [
@@ -2633,28 +2633,27 @@
2633
  false,
2634
  true,
2635
  true,
 
 
2636
  true,
2637
  true,
2638
- true,
2639
- true,
2640
- true
2641
  ],
2642
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2643
  false,
2644
  false,
2645
- true,
2646
  false,
2647
  false,
2648
  true,
 
 
2649
  true,
2650
  true,
2651
- true,
2652
- true,
2653
- true,
2654
  false
2655
  ],
2656
  "model.decoder.layers.25.self_attn.q_proj.lora_E": [
2657
- true,
2658
  false,
2659
  false,
2660
  false,
@@ -2664,8 +2663,9 @@
2664
  false,
2665
  false,
2666
  false,
2667
- true,
2668
- true
 
2669
  ],
2670
  "model.decoder.layers.25.self_attn.v_proj.lora_E": [
2671
  false,
@@ -2702,7 +2702,7 @@
2702
  true,
2703
  true,
2704
  true,
2705
- true,
2706
  true,
2707
  true,
2708
  true,
@@ -2759,33 +2759,33 @@
2759
  true,
2760
  true,
2761
  false,
2762
- true,
2763
- true,
2764
  false,
2765
  true,
2766
  false
2767
  ],
2768
  "model.decoder.layers.26.self_attn.k_proj.lora_E": [
2769
- true,
2770
  true,
2771
  true,
2772
  true,
2773
  false,
2774
  false,
2775
- true,
 
2776
  false,
2777
  true,
2778
- true,
2779
- true,
2780
- true
2781
  ],
2782
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2783
- true,
2784
  false,
2785
  false,
2786
  true,
2787
- false,
2788
  true,
 
 
2789
  true,
2790
  false,
2791
  false,
@@ -2794,15 +2794,15 @@
2794
  true
2795
  ],
2796
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
2797
- true,
2798
  false,
2799
- true,
2800
  false,
2801
  true,
2802
- true,
2803
  false,
2804
  false,
2805
- true,
 
 
 
2806
  false,
2807
  false,
2808
  true
@@ -2811,11 +2811,11 @@
2811
  false,
2812
  true,
2813
  false,
2814
- true,
2815
- true,
2816
  false,
2817
  true,
2818
  false,
 
 
2819
  true,
2820
  true,
2821
  false,
@@ -2868,13 +2868,13 @@
2868
  true,
2869
  true,
2870
  true,
 
2871
  true,
2872
  true,
2873
  true,
2874
  true,
2875
  true,
2876
- true,
2877
- true,
2878
  true
2879
  ],
2880
  "model.decoder.layers.27.fc1.lora_E": [
@@ -2892,7 +2892,7 @@
2892
  true
2893
  ],
2894
  "model.decoder.layers.27.fc2.lora_E": [
2895
- true,
2896
  false,
2897
  true,
2898
  true,
@@ -2906,15 +2906,15 @@
2906
  false
2907
  ],
2908
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2909
- true,
2910
- true,
2911
- true,
2912
- true,
2913
- true,
2914
  true,
2915
  false,
2916
  true,
 
 
 
 
2917
  true,
 
2918
  true,
2919
  true,
2920
  true
@@ -2924,14 +2924,14 @@
2924
  true,
2925
  true,
2926
  false,
2927
- true,
2928
  true,
2929
  false,
2930
  false,
2931
- true,
2932
  false,
2933
  false,
2934
- true
 
2935
  ],
2936
  "model.decoder.layers.27.self_attn.q_proj.lora_E": [
2937
  true,
@@ -2940,17 +2940,17 @@
2940
  false,
2941
  false,
2942
  false,
2943
- true,
2944
  false,
2945
  false,
2946
- true,
 
2947
  false,
2948
  false
2949
  ],
2950
  "model.decoder.layers.27.self_attn.v_proj.lora_E": [
 
2951
  true,
2952
- true,
2953
- true,
2954
  false,
2955
  false,
2956
  false,
@@ -2959,7 +2959,7 @@
2959
  false,
2960
  false,
2961
  true,
2962
- true
2963
  ],
2964
  "model.decoder.layers.28.encoder_attn.k_proj.lora_E": [
2965
  false,
@@ -2983,7 +2983,7 @@
2983
  true,
2984
  true,
2985
  true,
2986
- true,
2987
  true,
2988
  true,
2989
  true,
@@ -3032,8 +3032,8 @@
3032
  true
3033
  ],
3034
  "model.decoder.layers.28.fc2.lora_E": [
3035
- true,
3036
- true,
3037
  false,
3038
  true,
3039
  true,
@@ -3041,15 +3041,15 @@
3041
  true,
3042
  true,
3043
  true,
3044
- true,
3045
  true,
3046
  true
3047
  ],
3048
  "model.decoder.layers.28.self_attn.k_proj.lora_E": [
3049
- false,
3050
  true,
3051
  true,
3052
  true,
 
3053
  true,
3054
  false,
3055
  true,
@@ -3061,15 +3061,15 @@
3061
  ],
3062
  "model.decoder.layers.28.self_attn.out_proj.lora_E": [
3063
  false,
3064
- true,
3065
  false,
3066
- true,
 
3067
  true,
3068
  true,
3069
  true,
3070
  false,
3071
- true,
3072
- true,
3073
  false,
3074
  false
3075
  ],
@@ -3090,14 +3090,14 @@
3090
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3091
  true,
3092
  false,
3093
- true,
3094
- true,
3095
  false,
3096
  true,
 
3097
  true,
3098
  false,
3099
  false,
3100
- true,
 
3101
  false,
3102
  true
3103
  ],
@@ -3119,14 +3119,14 @@
3119
  true,
3120
  true,
3121
  true,
 
 
 
3122
  true,
3123
- true,
3124
- true,
3125
- true,
3126
- true,
3127
- true,
3128
- true,
3129
- true,
3130
  true
3131
  ],
3132
  "model.decoder.layers.29.encoder_attn.q_proj.lora_E": [
@@ -3149,7 +3149,7 @@
3149
  true,
3150
  true,
3151
  true,
3152
- true,
3153
  true,
3154
  true,
3155
  true,
@@ -3172,12 +3172,12 @@
3172
  true
3173
  ],
3174
  "model.decoder.layers.29.fc2.lora_E": [
 
3175
  true,
3176
  true,
3177
  true,
3178
  true,
3179
- true,
3180
- true,
3181
  true,
3182
  true,
3183
  true,
@@ -3186,17 +3186,17 @@
3186
  true
3187
  ],
3188
  "model.decoder.layers.29.self_attn.k_proj.lora_E": [
3189
- true,
3190
- true,
3191
  false,
3192
  false,
3193
  false,
3194
- true,
3195
- true,
3196
  false,
3197
  false,
3198
  true,
3199
- true,
 
 
 
3200
  false
3201
  ],
3202
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
@@ -3205,17 +3205,17 @@
3205
  true,
3206
  false,
3207
  false,
3208
- true,
3209
  false,
3210
  false,
3211
- true,
3212
  false,
3213
- true,
 
 
3214
  false
3215
  ],
3216
  "model.decoder.layers.29.self_attn.q_proj.lora_E": [
3217
  false,
3218
- true,
3219
  false,
3220
  false,
3221
  false,
@@ -3239,7 +3239,7 @@
3239
  false,
3240
  false,
3241
  false,
3242
- true
3243
  ],
3244
  "model.decoder.layers.3.encoder_attn.k_proj.lora_E": [
3245
  false,
@@ -3258,16 +3258,16 @@
3258
  "model.decoder.layers.3.encoder_attn.out_proj.lora_E": [
3259
  true,
3260
  true,
 
3261
  true,
3262
  true,
3263
  true,
3264
  true,
3265
  true,
 
 
3266
  true,
3267
- true,
3268
- true,
3269
- true,
3270
- true
3271
  ],
3272
  "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
3273
  false,
@@ -3287,13 +3287,13 @@
3287
  false,
3288
  false,
3289
  true,
3290
- true,
3291
- true,
 
 
3292
  false,
3293
  true,
3294
- true,
3295
- true,
3296
- true,
3297
  true,
3298
  false
3299
  ],
@@ -3347,11 +3347,11 @@
3347
  false,
3348
  false,
3349
  false,
3350
- true,
3351
  false,
3352
- true,
3353
  false,
3354
- true
 
 
3355
  ],
3356
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
3357
  false,
@@ -3370,16 +3370,16 @@
3370
  "model.decoder.layers.3.self_attn.v_proj.lora_E": [
3371
  true,
3372
  false,
3373
- true,
3374
  false,
3375
- true,
3376
  false,
3377
- true,
 
 
3378
  false,
3379
  false,
3380
  true,
3381
- true,
3382
- true
3383
  ],
3384
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
3385
  false,
@@ -3396,18 +3396,18 @@
3396
  false
3397
  ],
3398
  "model.decoder.layers.30.encoder_attn.out_proj.lora_E": [
3399
- true,
3400
  true,
3401
  true,
3402
  false,
 
 
 
3403
  true,
 
3404
  true,
3405
  true,
3406
  true,
3407
- true,
3408
- true,
3409
- true,
3410
- true
3411
  ],
3412
  "model.decoder.layers.30.encoder_attn.q_proj.lora_E": [
3413
  false,
@@ -3431,7 +3431,7 @@
3431
  true,
3432
  true,
3433
  true,
3434
- true,
3435
  true,
3436
  true,
3437
  true,
@@ -3474,14 +3474,14 @@
3474
  true,
3475
  false,
3476
  true,
3477
- true,
3478
  true,
3479
  true,
3480
  true
3481
  ],
3482
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3483
  false,
3484
- true,
3485
  false,
3486
  false,
3487
  false,
@@ -3501,7 +3501,7 @@
3501
  false,
3502
  false,
3503
  false,
3504
- true,
3505
  false,
3506
  false,
3507
  false,
@@ -3514,9 +3514,9 @@
3514
  false,
3515
  false,
3516
  false,
3517
- true,
3518
  false,
3519
- true,
 
3520
  true,
3521
  false,
3522
  true
@@ -3539,13 +3539,13 @@
3539
  false,
3540
  false,
3541
  false,
3542
- true,
3543
  false,
3544
  false,
3545
  false,
3546
  false,
3547
  false,
3548
- true,
 
3549
  false,
3550
  false
3551
  ],
@@ -3565,14 +3565,14 @@
3565
  ],
3566
  "model.decoder.layers.31.encoder_attn.v_proj.lora_E": [
3567
  false,
3568
- true,
3569
- true,
3570
- true,
3571
- true,
3572
  false,
3573
  true,
 
3574
  true,
3575
- true,
 
 
 
3576
  false,
3577
  true,
3578
  true
@@ -3580,11 +3580,11 @@
3580
  "model.decoder.layers.31.fc1.lora_E": [
3581
  false,
3582
  true,
3583
- true,
3584
  false,
3585
  false,
3586
  false,
3587
- true,
 
3588
  false,
3589
  true,
3590
  true,
@@ -3634,7 +3634,7 @@
3634
  false
3635
  ],
3636
  "model.decoder.layers.31.self_attn.q_proj.lora_E": [
3637
- true,
3638
  false,
3639
  false,
3640
  false,
@@ -3650,11 +3650,11 @@
3650
  "model.decoder.layers.31.self_attn.v_proj.lora_E": [
3651
  false,
3652
  false,
3653
- true,
3654
  false,
3655
  false,
3656
- true,
3657
- true,
 
3658
  false,
3659
  false,
3660
  false,
@@ -3663,7 +3663,7 @@
3663
  ],
3664
  "model.decoder.layers.4.encoder_attn.k_proj.lora_E": [
3665
  false,
3666
- true,
3667
  false,
3668
  false,
3669
  false,
@@ -3678,16 +3678,16 @@
3678
  "model.decoder.layers.4.encoder_attn.out_proj.lora_E": [
3679
  true,
3680
  false,
3681
- true,
3682
- true,
3683
- true,
3684
- true,
3685
- true,
3686
  false,
3687
- true,
3688
  false,
3689
  true,
3690
- true
 
 
 
 
 
3691
  ],
3692
  "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
3693
  false,
@@ -3712,7 +3712,7 @@
3712
  false,
3713
  true,
3714
  true,
3715
- true,
3716
  true,
3717
  true,
3718
  true
@@ -3793,8 +3793,8 @@
3793
  true,
3794
  false,
3795
  false,
3796
- true,
3797
- true,
3798
  false,
3799
  true,
3800
  false,
@@ -3817,14 +3817,14 @@
3817
  ],
3818
  "model.decoder.layers.5.encoder_attn.out_proj.lora_E": [
3819
  false,
3820
- true,
3821
  false,
3822
  false,
3823
  false,
3824
- true,
3825
- true,
3826
  false,
3827
- true,
 
 
 
3828
  false,
3829
  false,
3830
  false
@@ -3844,8 +3844,8 @@
3844
  false
3845
  ],
3846
  "model.decoder.layers.5.encoder_attn.v_proj.lora_E": [
3847
- true,
3848
- true,
3849
  true,
3850
  true,
3851
  true,
@@ -3990,9 +3990,9 @@
3990
  false,
3991
  false,
3992
  false,
3993
- true,
3994
  false,
3995
- true,
 
3996
  false,
3997
  false,
3998
  false
@@ -4001,7 +4001,7 @@
4001
  true,
4002
  true,
4003
  true,
4004
- true,
4005
  true,
4006
  true,
4007
  true,
@@ -4048,10 +4048,10 @@
4048
  false,
4049
  false,
4050
  false,
4051
- true,
4052
  false,
4053
  false,
4054
- true
 
4055
  ],
4056
  "model.decoder.layers.6.self_attn.q_proj.lora_E": [
4057
  false,
@@ -4068,18 +4068,18 @@
4068
  false
4069
  ],
4070
  "model.decoder.layers.6.self_attn.v_proj.lora_E": [
4071
- true,
4072
  true,
4073
  false,
4074
  false,
4075
  false,
4076
- true,
4077
  false,
4078
  false,
4079
- true,
 
4080
  true,
4081
  false,
4082
- true
4083
  ],
4084
  "model.decoder.layers.7.encoder_attn.k_proj.lora_E": [
4085
  false,
@@ -4129,7 +4129,7 @@
4129
  false,
4130
  false,
4131
  false,
4132
- true,
4133
  false,
4134
  false,
4135
  false,
@@ -4149,7 +4149,7 @@
4149
  true,
4150
  true,
4151
  true,
4152
- true
4153
  ],
4154
  "model.decoder.layers.7.fc2.lora_E": [
4155
  true,
@@ -4212,7 +4212,7 @@
4212
  false,
4213
  true,
4214
  true,
4215
- true,
4216
  true,
4217
  false,
4218
  false,
@@ -4242,12 +4242,12 @@
4242
  false,
4243
  false,
4244
  false,
4245
- true,
4246
  false,
4247
  false,
4248
  false,
4249
- true,
4250
- true
 
4251
  ],
4252
  "model.decoder.layers.8.encoder_attn.q_proj.lora_E": [
4253
  false,
@@ -4287,13 +4287,13 @@
4287
  true,
4288
  true,
4289
  true,
4290
- true,
4291
  true,
4292
  true
4293
  ],
4294
  "model.decoder.layers.8.fc2.lora_E": [
4295
  true,
4296
- true,
4297
  true,
4298
  true,
4299
  true,
@@ -4349,7 +4349,7 @@
4349
  ],
4350
  "model.decoder.layers.8.self_attn.v_proj.lora_E": [
4351
  false,
4352
- true,
4353
  false,
4354
  false,
4355
  false,
@@ -4358,7 +4358,7 @@
4358
  false,
4359
  false,
4360
  true,
4361
- true,
4362
  false
4363
  ],
4364
  "model.decoder.layers.9.encoder_attn.k_proj.lora_E": [
@@ -4413,8 +4413,8 @@
4413
  false,
4414
  false,
4415
  false,
4416
- true,
4417
- true,
4418
  false
4419
  ],
4420
  "model.decoder.layers.9.fc1.lora_E": [
@@ -4437,7 +4437,7 @@
4437
  true,
4438
  true,
4439
  true,
4440
- true,
4441
  true,
4442
  true,
4443
  true,
@@ -4460,9 +4460,7 @@
4460
  false
4461
  ],
4462
  "model.decoder.layers.9.self_attn.out_proj.lora_E": [
4463
- true,
4464
  false,
4465
- true,
4466
  false,
4467
  false,
4468
  false,
@@ -4471,7 +4469,9 @@
4471
  false,
4472
  false,
4473
  false,
4474
- true
 
 
4475
  ],
4476
  "model.decoder.layers.9.self_attn.q_proj.lora_E": [
4477
  false,
@@ -4488,23 +4488,23 @@
4488
  false
4489
  ],
4490
  "model.decoder.layers.9.self_attn.v_proj.lora_E": [
4491
- true,
4492
  false,
4493
  false,
4494
  false,
4495
  false,
4496
- true,
4497
  false,
4498
  true,
4499
- true,
 
 
4500
  false,
4501
  true,
4502
  false
4503
  ],
4504
  "model.encoder.layers.0.fc1.lora_E": [
4505
  false,
4506
- true,
4507
- true,
4508
  false,
4509
  false,
4510
  false,
@@ -4516,12 +4516,12 @@
4516
  false
4517
  ],
4518
  "model.encoder.layers.0.fc2.lora_E": [
4519
- true,
4520
  false,
4521
  false,
4522
  false,
4523
- true,
4524
- true,
 
4525
  false,
4526
  false,
4527
  false,
@@ -4549,10 +4549,10 @@
4549
  false,
4550
  true,
4551
  false,
 
4552
  true,
4553
  true,
4554
- true,
4555
- true,
4556
  false,
4557
  false,
4558
  false
@@ -4575,9 +4575,9 @@
4575
  false,
4576
  false,
4577
  false,
4578
- true,
4579
  false,
4580
- true,
 
4581
  false,
4582
  false,
4583
  false,
@@ -4593,7 +4593,7 @@
4593
  false,
4594
  false,
4595
  false,
4596
- true,
4597
  false,
4598
  false,
4599
  false,
@@ -4611,7 +4611,7 @@
4611
  false,
4612
  false,
4613
  true,
4614
- true
4615
  ],
4616
  "model.encoder.layers.1.self_attn.k_proj.lora_E": [
4617
  false,
@@ -4635,9 +4635,9 @@
4635
  false,
4636
  false,
4637
  false,
4638
- true,
4639
  false,
4640
- true,
 
4641
  false,
4642
  false
4643
  ],
@@ -4671,7 +4671,6 @@
4671
  ],
4672
  "model.encoder.layers.10.fc1.lora_E": [
4673
  false,
4674
- true,
4675
  false,
4676
  false,
4677
  false,
@@ -4680,7 +4679,8 @@
4680
  false,
4681
  false,
4682
  false,
4683
- true,
 
4684
  false
4685
  ],
4686
  "model.encoder.layers.10.fc2.lora_E": [
@@ -4689,12 +4689,12 @@
4689
  false,
4690
  false,
4691
  false,
4692
- true,
4693
  false,
4694
  false,
4695
- true,
4696
  false,
4697
  true,
 
 
4698
  false
4699
  ],
4700
  "model.encoder.layers.10.self_attn.k_proj.lora_E": [
@@ -4754,10 +4754,10 @@
4754
  false
4755
  ],
4756
  "model.encoder.layers.11.fc1.lora_E": [
4757
- true,
4758
  false,
4759
  true,
4760
- true,
4761
  false,
4762
  true,
4763
  false,
@@ -4765,15 +4765,15 @@
4765
  false,
4766
  false,
4767
  true,
4768
- true
4769
  ],
4770
  "model.encoder.layers.11.fc2.lora_E": [
 
4771
  false,
4772
  true,
4773
  true,
4774
  true,
4775
- true,
4776
- true,
4777
  false,
4778
  false,
4779
  true,
@@ -4800,14 +4800,14 @@
4800
  false,
4801
  true,
4802
  false,
4803
- true,
4804
  false,
4805
  false,
4806
  false,
4807
  false,
4808
  false,
4809
  false,
4810
- true
 
4811
  ],
4812
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4813
  false,
@@ -4840,27 +4840,27 @@
4840
  "model.encoder.layers.12.fc1.lora_E": [
4841
  false,
4842
  false,
4843
- true,
4844
- true,
4845
  false,
4846
  true,
4847
- true,
4848
  true,
4849
  true,
4850
  true,
4851
  false,
 
 
4852
  true
4853
  ],
4854
  "model.encoder.layers.12.fc2.lora_E": [
4855
  true,
4856
  false,
4857
- true,
4858
  false,
4859
- true,
4860
  false,
4861
- true,
4862
- true,
4863
- true,
 
 
4864
  false,
4865
  false,
4866
  true
@@ -4882,7 +4882,7 @@
4882
  "model.encoder.layers.12.self_attn.out_proj.lora_E": [
4883
  false,
4884
  true,
4885
- true,
4886
  false,
4887
  false,
4888
  true,
@@ -4919,15 +4919,15 @@
4919
  false,
4920
  true,
4921
  false,
4922
- true
4923
  ],
4924
  "model.encoder.layers.13.fc1.lora_E": [
4925
  true,
4926
  false,
4927
- true,
4928
  false,
4929
  false,
4930
  true,
 
4931
  false,
4932
  false,
4933
  true,
@@ -4944,7 +4944,7 @@
4944
  false,
4945
  false,
4946
  true,
4947
- true,
4948
  false,
4949
  true,
4950
  true
@@ -4997,26 +4997,26 @@
4997
  false,
4998
  false,
4999
  false,
5000
- true,
5001
  false,
5002
- true,
5003
  false,
5004
  false,
5005
  false,
5006
- true
 
 
5007
  ],
5008
  "model.encoder.layers.14.fc1.lora_E": [
5009
- true,
5010
  true,
5011
  false,
5012
- true,
5013
- true,
5014
- true,
5015
  false,
5016
  true,
 
5017
  true,
 
5018
  true,
 
5019
  true,
 
5020
  true
5021
  ],
5022
  "model.encoder.layers.14.fc2.lora_E": [
@@ -5026,7 +5026,7 @@
5026
  false,
5027
  true,
5028
  false,
5029
- true,
5030
  true,
5031
  true,
5032
  true,
@@ -5052,11 +5052,11 @@
5052
  true,
5053
  false,
5054
  false,
 
 
 
5055
  true,
5056
- true,
5057
- true,
5058
- true,
5059
- true,
5060
  false,
5061
  true,
5062
  false
@@ -5078,12 +5078,12 @@
5078
  "model.encoder.layers.14.self_attn.v_proj.lora_E": [
5079
  false,
5080
  true,
5081
- true,
5082
  true,
5083
  false,
5084
  false,
5085
  true,
5086
- true,
5087
  true,
5088
  true,
5089
  true,
@@ -5099,14 +5099,14 @@
5099
  true,
5100
  true,
5101
  true,
5102
- true,
5103
  true,
5104
  false
5105
  ],
5106
  "model.encoder.layers.15.fc2.lora_E": [
5107
  true,
5108
  false,
5109
- true,
5110
  true,
5111
  true,
5112
  true,
@@ -5114,7 +5114,7 @@
5114
  true,
5115
  true,
5116
  false,
5117
- true,
5118
  false
5119
  ],
5120
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
@@ -5140,9 +5140,9 @@
5140
  true,
5141
  false,
5142
  false,
5143
- true,
5144
- true,
5145
- true,
5146
  false
5147
  ],
5148
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
@@ -5168,7 +5168,7 @@
5168
  false,
5169
  false,
5170
  true,
5171
- true,
5172
  false,
5173
  false,
5174
  true
@@ -5217,11 +5217,11 @@
5217
  ],
5218
  "model.encoder.layers.16.self_attn.out_proj.lora_E": [
5219
  true,
 
5220
  true,
 
5221
  true,
5222
- true,
5223
- true,
5224
- true,
5225
  true,
5226
  true,
5227
  false,
@@ -5273,7 +5273,7 @@
5273
  ],
5274
  "model.encoder.layers.17.fc2.lora_E": [
5275
  true,
5276
- true,
5277
  true,
5278
  true,
5279
  true,
@@ -5306,10 +5306,10 @@
5306
  false,
5307
  true,
5308
  true,
 
5309
  true,
5310
  true,
5311
- true,
5312
- true,
5313
  true,
5314
  true
5315
  ],
@@ -5385,16 +5385,16 @@
5385
  ],
5386
  "model.encoder.layers.18.self_attn.out_proj.lora_E": [
5387
  true,
5388
- true,
5389
  true,
5390
  false,
5391
  false,
5392
  false,
 
5393
  true,
5394
  true,
5395
  true,
5396
- true,
5397
- true,
5398
  false
5399
  ],
5400
  "model.encoder.layers.18.self_attn.q_proj.lora_E": [
@@ -5413,7 +5413,7 @@
5413
  ],
5414
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5415
  true,
5416
- true,
5417
  true,
5418
  true,
5419
  true,
@@ -5440,7 +5440,7 @@
5440
  true
5441
  ],
5442
  "model.encoder.layers.19.fc2.lora_E": [
5443
- true,
5444
  true,
5445
  true,
5446
  true,
@@ -5470,8 +5470,8 @@
5470
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
5471
  false,
5472
  false,
5473
- true,
5474
- true,
5475
  false,
5476
  false,
5477
  true,
@@ -5503,8 +5503,8 @@
5503
  true,
5504
  true,
5505
  true,
5506
- true,
5507
- true,
5508
  true,
5509
  true,
5510
  true
@@ -5524,18 +5524,18 @@
5524
  false
5525
  ],
5526
  "model.encoder.layers.2.fc2.lora_E": [
5527
- true,
5528
  false,
5529
  false,
5530
  false,
5531
- true,
5532
  false,
5533
  false,
5534
- true,
5535
  false,
5536
  false,
5537
  false,
5538
- true
 
 
 
5539
  ],
5540
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5541
  false,
@@ -5636,15 +5636,15 @@
5636
  false
5637
  ],
5638
  "model.encoder.layers.20.self_attn.out_proj.lora_E": [
5639
- true,
5640
  true,
5641
  false,
 
5642
  true,
5643
  true,
 
5644
  true,
5645
  true,
5646
- true,
5647
- true,
5648
  true,
5649
  false,
5650
  true
@@ -5666,7 +5666,7 @@
5666
  "model.encoder.layers.20.self_attn.v_proj.lora_E": [
5667
  true,
5668
  true,
5669
- true,
5670
  true,
5671
  true,
5672
  true,
@@ -5703,7 +5703,7 @@
5703
  true,
5704
  true,
5705
  true,
5706
- true
5707
  ],
5708
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5709
  false,
@@ -5720,14 +5720,14 @@
5720
  false
5721
  ],
5722
  "model.encoder.layers.21.self_attn.out_proj.lora_E": [
5723
- true,
5724
  false,
5725
- true,
5726
- true,
5727
- true,
5728
  true,
5729
  false,
5730
  false,
 
 
5731
  true,
5732
  true,
5733
  false,
@@ -5804,16 +5804,16 @@
5804
  false
5805
  ],
5806
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5807
- true,
5808
- true,
5809
- true,
5810
- true,
5811
  false,
5812
  true,
5813
  true,
 
5814
  true,
 
 
5815
  true,
5816
- true,
5817
  false,
5818
  true
5819
  ],
@@ -5835,15 +5835,15 @@
5835
  false,
5836
  true,
5837
  true,
 
5838
  true,
5839
- true,
5840
- true,
5841
  false,
5842
  true,
5843
  true,
5844
  false,
5845
  true,
5846
- true
5847
  ],
5848
  "model.encoder.layers.23.fc1.lora_E": [
5849
  true,
@@ -5888,16 +5888,16 @@
5888
  false
5889
  ],
5890
  "model.encoder.layers.23.self_attn.out_proj.lora_E": [
 
5891
  true,
5892
  true,
5893
  true,
5894
- true,
5895
- true,
5896
- true,
5897
  true,
5898
  true,
5899
  false,
5900
- true,
5901
  true,
5902
  true
5903
  ],
@@ -5917,7 +5917,7 @@
5917
  ],
5918
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5919
  true,
5920
- true,
5921
  false,
5922
  false,
5923
  true,
@@ -5974,11 +5974,11 @@
5974
  "model.encoder.layers.24.self_attn.out_proj.lora_E": [
5975
  true,
5976
  true,
 
 
 
5977
  true,
5978
- true,
5979
- true,
5980
- true,
5981
- true,
5982
  true,
5983
  true,
5984
  false,
@@ -5990,7 +5990,7 @@
5990
  false,
5991
  false,
5992
  false,
5993
- true,
5994
  false,
5995
  false,
5996
  false,
@@ -6011,7 +6011,7 @@
6011
  true,
6012
  true,
6013
  true,
6014
- true
6015
  ],
6016
  "model.encoder.layers.25.fc1.lora_E": [
6017
  true,
@@ -6057,16 +6057,16 @@
6057
  ],
6058
  "model.encoder.layers.25.self_attn.out_proj.lora_E": [
6059
  true,
6060
- true,
6061
  true,
6062
  false,
6063
  false,
6064
- true,
6065
- true,
6066
- true,
6067
  false,
6068
  true,
6069
  true,
 
 
 
6070
  true
6071
  ],
6072
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
@@ -6084,15 +6084,15 @@
6084
  false
6085
  ],
6086
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6087
- true,
6088
- true,
6089
  true,
6090
  false,
6091
  true,
 
6092
  true,
6093
  true,
6094
  true,
6095
  true,
 
6096
  true,
6097
  true,
6098
  true
@@ -6135,23 +6135,23 @@
6135
  false,
6136
  false,
6137
  false,
6138
- true,
6139
  false,
6140
  false
6141
  ],
6142
  "model.encoder.layers.26.self_attn.out_proj.lora_E": [
6143
- true,
6144
- true,
6145
  false,
6146
  true,
6147
  false,
6148
- true,
6149
- true,
6150
- true,
6151
  false,
6152
  true,
 
 
 
6153
  true,
6154
- true
 
6155
  ],
6156
  "model.encoder.layers.26.self_attn.q_proj.lora_E": [
6157
  false,
@@ -6226,14 +6226,14 @@
6226
  "model.encoder.layers.27.self_attn.out_proj.lora_E": [
6227
  true,
6228
  true,
 
6229
  true,
 
6230
  true,
6231
  true,
 
6232
  true,
6233
- true,
6234
- true,
6235
- true,
6236
- true,
6237
  false,
6238
  false
6239
  ],
@@ -6308,18 +6308,18 @@
6308
  false
6309
  ],
6310
  "model.encoder.layers.28.self_attn.out_proj.lora_E": [
6311
- true,
6312
- true,
6313
  false,
6314
  true,
 
6315
  true,
6316
  true,
6317
  true,
6318
  true,
6319
  true,
6320
  true,
6321
- true,
6322
- true
6323
  ],
6324
  "model.encoder.layers.28.self_attn.q_proj.lora_E": [
6325
  false,
@@ -6392,6 +6392,7 @@
6392
  false
6393
  ],
6394
  "model.encoder.layers.29.self_attn.out_proj.lora_E": [
 
6395
  true,
6396
  true,
6397
  true,
@@ -6399,8 +6400,7 @@
6399
  true,
6400
  true,
6401
  true,
6402
- true,
6403
- true,
6404
  true,
6405
  true,
6406
  true
@@ -6448,18 +6448,18 @@
6448
  false
6449
  ],
6450
  "model.encoder.layers.3.fc2.lora_E": [
6451
- true,
6452
  false,
6453
  false,
6454
  false,
6455
  false,
6456
- true,
 
6457
  false,
6458
  true,
6459
  false,
6460
  false,
6461
  false,
6462
- true
6463
  ],
6464
  "model.encoder.layers.3.self_attn.k_proj.lora_E": [
6465
  false,
@@ -6546,13 +6546,13 @@
6546
  true
6547
  ],
6548
  "model.encoder.layers.30.self_attn.k_proj.lora_E": [
6549
- true,
6550
  false,
6551
  false,
6552
  false,
6553
  false,
6554
  false,
6555
- true,
 
6556
  false,
6557
  false,
6558
  false,
@@ -6571,7 +6571,7 @@
6571
  true,
6572
  true,
6573
  true,
6574
- true
6575
  ],
6576
  "model.encoder.layers.30.self_attn.q_proj.lora_E": [
6577
  false,
@@ -6592,9 +6592,9 @@
6592
  true,
6593
  true,
6594
  true,
6595
- true,
6596
  false,
6597
- true,
 
6598
  true,
6599
  true,
6600
  true,
@@ -6649,7 +6649,7 @@
6649
  false,
6650
  false,
6651
  true,
6652
- true,
6653
  true,
6654
  true,
6655
  true,
@@ -6676,7 +6676,7 @@
6676
  true,
6677
  true,
6678
  true,
6679
- true,
6680
  true,
6681
  true,
6682
  true,
@@ -6705,13 +6705,13 @@
6705
  false,
6706
  false,
6707
  false,
6708
- true,
6709
  false,
6710
  false,
6711
  false,
6712
- true,
6713
  false,
6714
- true
 
 
6715
  ],
6716
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
6717
  false,
@@ -6785,14 +6785,14 @@
6785
  ],
6786
  "model.encoder.layers.5.fc2.lora_E": [
6787
  false,
6788
- true,
6789
- true,
6790
  false,
6791
  false,
6792
- true,
6793
  false,
6794
  false,
6795
- true,
 
 
 
6796
  false,
6797
  true,
6798
  false
@@ -6857,7 +6857,7 @@
6857
  false,
6858
  false,
6859
  false,
6860
- true,
6861
  false,
6862
  false,
6863
  false,
@@ -6868,7 +6868,7 @@
6868
  false
6869
  ],
6870
  "model.encoder.layers.6.fc2.lora_E": [
6871
- true,
6872
  false,
6873
  false,
6874
  true,
@@ -6876,7 +6876,7 @@
6876
  false,
6877
  false,
6878
  false,
6879
- true,
6880
  false,
6881
  false,
6882
  false
@@ -6948,11 +6948,11 @@
6948
  false,
6949
  false,
6950
  false,
6951
- true,
6952
  false
6953
  ],
6954
  "model.encoder.layers.7.fc2.lora_E": [
6955
- true,
6956
  false,
6957
  false,
6958
  false,
@@ -7036,18 +7036,18 @@
7036
  false
7037
  ],
7038
  "model.encoder.layers.8.fc2.lora_E": [
7039
- true,
7040
  false,
7041
  false,
7042
  false,
7043
- true,
7044
  false,
7045
  false,
7046
  false,
7047
  false,
7048
  false,
7049
- true,
7050
- true
 
 
7051
  ],
7052
  "model.encoder.layers.8.self_attn.k_proj.lora_E": [
7053
  false,
@@ -7103,7 +7103,7 @@
7103
  false,
7104
  false,
7105
  true,
7106
- true
7107
  ],
7108
  "model.encoder.layers.9.fc1.lora_E": [
7109
  false,
@@ -7129,8 +7129,8 @@
7129
  false,
7130
  false,
7131
  false,
7132
- true,
7133
- true,
7134
  false
7135
  ],
7136
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
 
36
  false
37
  ],
38
  "model.decoder.layers.0.encoder_attn.out_proj.lora_E": [
 
 
39
  true,
40
  false,
41
+ false,
 
42
  false,
43
  false,
44
  true,
45
+ false,
46
+ false,
47
  true,
48
  true,
49
+ false,
50
  false
51
  ],
52
  "model.decoder.layers.0.encoder_attn.q_proj.lora_E": [
 
67
  true,
68
  false,
69
  false,
70
+ false,
71
  true,
72
  false,
73
  false,
 
79
  ],
80
  "model.decoder.layers.0.fc1.lora_E": [
81
  true,
82
+ false,
83
  true,
84
  true,
85
  true,
 
102
  true,
103
  true,
104
  true,
105
+ true,
106
  true
107
  ],
108
  "model.decoder.layers.0.self_attn.k_proj.lora_E": [
 
121
  ],
122
  "model.decoder.layers.0.self_attn.out_proj.lora_E": [
123
  false,
 
 
124
  false,
125
+ false,
126
+ false,
127
  false,
128
  true,
129
+ false,
130
+ false,
131
  true,
132
  true,
133
  false,
 
143
  false,
144
  false,
145
  false,
146
+ false,
147
  false,
148
  false
149
  ],
 
151
  false,
152
  true,
153
  false,
 
154
  false,
155
  false,
 
156
  false,
157
  true,
158
  false,
159
  false,
160
+ false,
161
+ false,
162
  false
163
  ],
164
  "model.decoder.layers.1.encoder_attn.k_proj.lora_E": [
 
186
  false,
187
  false,
188
  false,
189
+ false,
190
  false
191
  ],
192
  "model.decoder.layers.1.encoder_attn.q_proj.lora_E": [
 
211
  false,
212
  false,
213
  true,
 
214
  false,
215
+ false,
216
+ false,
217
  false,
218
  true
219
  ],
 
262
  "model.decoder.layers.1.self_attn.out_proj.lora_E": [
263
  true,
264
  true,
265
+ false,
 
 
266
  true,
267
  true,
268
  false,
 
269
  false,
270
+ false,
271
+ false,
272
+ false,
273
+ false,
274
  false
275
  ],
276
  "model.decoder.layers.1.self_attn.q_proj.lora_E": [
 
289
  ],
290
  "model.decoder.layers.1.self_attn.v_proj.lora_E": [
291
  false,
 
292
  false,
293
  false,
294
  false,
295
  false,
 
 
296
  false,
297
+ false,
298
+ false,
299
+ false,
300
+ false,
301
+ false,
302
  false
303
  ],
304
  "model.decoder.layers.10.encoder_attn.k_proj.lora_E": [
 
318
  "model.decoder.layers.10.encoder_attn.out_proj.lora_E": [
319
  false,
320
  false,
 
 
321
  false,
 
322
  false,
323
  false,
324
  false,
325
  false,
326
+ false,
327
+ false,
328
+ false,
329
+ false,
330
  false
331
  ],
332
  "model.decoder.layers.10.encoder_attn.q_proj.lora_E": [
 
340
  false,
341
  false,
342
  false,
343
+ false,
344
  false
345
  ],
346
  "model.decoder.layers.10.encoder_attn.v_proj.lora_E": [
347
  false,
348
  false,
 
 
 
349
  false,
350
  true,
351
  false,
352
+ false,
353
  true,
354
  false,
355
  false,
356
+ false,
357
+ false,
358
  true
359
  ],
360
  "model.decoder.layers.10.fc1.lora_E": [
 
373
  ],
374
  "model.decoder.layers.10.fc2.lora_E": [
375
  true,
376
+ false,
377
  true,
378
  true,
379
  true,
 
402
  "model.decoder.layers.10.self_attn.out_proj.lora_E": [
403
  true,
404
  true,
405
+ false,
406
+ false,
407
  false,
408
  true,
409
  true,
410
  false,
411
  true,
412
+ false,
413
  false,
414
  true
415
  ],
 
428
  false
429
  ],
430
  "model.decoder.layers.10.self_attn.v_proj.lora_E": [
431
+ false,
432
  false,
433
  false,
434
  true,
 
462
  false,
463
  false,
464
  true,
465
+ false,
466
  false,
467
  false,
468
  false,
 
485
  ],
486
  "model.decoder.layers.11.encoder_attn.v_proj.lora_E": [
487
  false,
488
+ false,
489
  false,
490
  true,
491
  false,
492
  false,
493
+ false,
494
  false,
495
  true,
496
  true,
 
509
  true,
510
  true,
511
  true,
512
+ false
513
  ],
514
  "model.decoder.layers.11.fc2.lora_E": [
515
  true,
 
546
  true,
547
  false,
548
  false,
549
+ false,
550
  false,
551
  false,
552
  true,
 
573
  true,
574
  false,
575
  false,
576
+ false,
577
  true,
578
  false,
579
  false,
580
  false,
581
+ false,
582
  false
583
  ],
584
  "model.decoder.layers.12.encoder_attn.k_proj.lora_E": [
 
606
  false,
607
  false,
608
  false,
609
+ false,
610
  false
611
  ],
612
  "model.decoder.layers.12.encoder_attn.q_proj.lora_E": [
 
628
  false,
629
  false,
630
  true,
631
+ false,
632
  false,
633
  false,
634
  false,
 
680
  false
681
  ],
682
  "model.decoder.layers.12.self_attn.out_proj.lora_E": [
 
683
  false,
 
 
684
  false,
685
+ false,
686
+ false,
687
+ false,
688
+ false,
689
+ false,
690
  false,
691
  true,
692
+ false,
 
693
  true,
694
  false
695
  ],
 
710
  "model.decoder.layers.12.self_attn.v_proj.lora_E": [
711
  false,
712
  false,
713
+ false,
714
  false,
715
  false,
716
  false,
 
719
  false,
720
  false,
721
  false,
722
+ false
723
  ],
724
  "model.decoder.layers.13.encoder_attn.k_proj.lora_E": [
725
  false,
 
737
  ],
738
  "model.decoder.layers.13.encoder_attn.out_proj.lora_E": [
739
  false,
 
 
 
740
  false,
 
741
  false,
742
  true,
743
+ false,
744
+ false,
745
+ false,
746
+ false,
747
+ false,
748
+ false,
749
+ false,
750
+ false
751
  ],
752
  "model.decoder.layers.13.encoder_attn.q_proj.lora_E": [
753
  false,
 
764
  false
765
  ],
766
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
767
+ false,
768
+ false,
769
+ false,
770
  false,
771
  true,
772
  true,
773
  true,
774
+ false,
775
+ false,
 
 
 
776
  true,
777
  true,
778
  true
 
809
  false,
810
  false,
811
  false,
812
+ false,
813
  false,
814
  false,
815
  false,
 
820
  false
821
  ],
822
  "model.decoder.layers.13.self_attn.out_proj.lora_E": [
823
+ false,
824
  false,
825
  true,
826
+ false,
827
  true,
828
+ false,
 
 
829
  true,
830
  false,
831
  true,
 
849
  ],
850
  "model.decoder.layers.13.self_attn.v_proj.lora_E": [
851
  false,
 
852
  false,
853
  false,
854
  false,
855
  false,
856
  false,
857
  false,
 
858
  false,
859
  false,
860
+ false,
861
+ false,
862
+ false
863
  ],
864
  "model.decoder.layers.14.encoder_attn.k_proj.lora_E": [
865
  false,
 
927
  true,
928
  true,
929
  true,
930
+ false,
931
  true,
932
  true
933
  ],
 
940
  true,
941
  true,
942
  true,
943
+ false,
944
  true,
945
  true,
946
  true
 
949
  false,
950
  false,
951
  false,
952
+ false,
953
  false,
954
  false,
955
  false,
 
957
  false,
958
  false,
959
  true,
960
+ false
961
  ],
962
  "model.decoder.layers.14.self_attn.out_proj.lora_E": [
963
  false,
964
  true,
965
  true,
966
  true,
967
+ false,
968
  false,
969
  true,
970
  true,
971
  true,
972
+ false,
973
  false,
974
  true
975
  ],
 
1017
  ],
1018
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1019
  true,
1020
+ false,
1021
+ false,
1022
+ false,
1023
  true,
1024
+ false,
1025
  true,
1026
  true,
1027
  true,
1028
+ false,
 
 
 
 
1029
  true,
1030
  true
1031
  ],
 
1044
  false
1045
  ],
1046
  "model.decoder.layers.15.encoder_attn.v_proj.lora_E": [
1047
+ false,
1048
  true,
1049
  true,
1050
  true,
 
1077
  true,
1078
  true,
1079
  true,
1080
+ false,
1081
  true,
1082
  true,
1083
  true,
 
1129
  ],
1130
  "model.decoder.layers.15.self_attn.v_proj.lora_E": [
1131
  true,
1132
+ false,
1133
  true,
1134
+ false,
 
1135
  true,
1136
  false,
1137
  false,
 
1158
  "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
1159
  true,
1160
  true,
1161
+ false,
1162
  false,
1163
  false,
1164
  true,
1165
  true,
1166
  false,
1167
+ false,
1168
  false,
1169
  true,
1170
+ false
1171
  ],
1172
  "model.decoder.layers.16.encoder_attn.q_proj.lora_E": [
1173
  false,
 
1181
  false,
1182
  false,
1183
  false,
1184
+ false
1185
  ],
1186
  "model.decoder.layers.16.encoder_attn.v_proj.lora_E": [
1187
  true,
 
1212
  true
1213
  ],
1214
  "model.decoder.layers.16.fc2.lora_E": [
1215
+ false,
1216
  true,
1217
  true,
1218
  true,
1219
+ false,
 
1220
  true,
1221
  true,
1222
  true,
 
1230
  false,
1231
  false,
1232
  false,
1233
+ false,
1234
  false,
1235
  false,
1236
  false,
 
1263
  false,
1264
  false,
1265
  false,
1266
+ false,
1267
  false,
1268
  false
1269
  ],
 
1297
  ],
1298
  "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
1299
  true,
1300
+ false,
1301
  true,
1302
+ false,
1303
+ false,
1304
+ false,
1305
+ false,
1306
+ false,
1307
+ false,
1308
+ false,
1309
  true,
1310
+ false
 
 
 
 
 
 
 
 
1311
  ],
1312
  "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
1313
  false,
 
1357
  true,
1358
  false,
1359
  true,
1360
+ false,
1361
  true,
1362
  true,
1363
+ false,
 
1364
  true,
1365
  true,
1366
  true
 
1372
  false,
1373
  false,
1374
  false,
 
1375
  false,
1376
  false,
1377
+ false,
1378
+ false,
1379
  false,
1380
  false
1381
  ],
 
1390
  false,
1391
  true,
1392
  false,
1393
+ false,
1394
  true
1395
  ],
1396
  "model.decoder.layers.17.self_attn.q_proj.lora_E": [
 
1415
  true,
1416
  true,
1417
  true,
1418
+ false,
1419
  true,
1420
  true,
1421
  false,
 
1437
  ],
1438
  "model.decoder.layers.18.encoder_attn.out_proj.lora_E": [
1439
  false,
 
 
 
1440
  false,
 
1441
  false,
1442
  true,
1443
  false,
1444
+ false,
1445
+ false,
1446
  true,
1447
+ false,
1448
+ false,
1449
+ false,
1450
+ false
1451
  ],
1452
  "model.decoder.layers.18.encoder_attn.q_proj.lora_E": [
1453
  false,
1454
  false,
1455
  false,
 
1456
  false,
1457
  false,
1458
  false,
1459
+ false,
1460
+ false,
1461
  false,
1462
  false,
1463
  false,
 
1479
  ],
1480
  "model.decoder.layers.18.fc1.lora_E": [
1481
  true,
1482
+ false,
1483
  true,
1484
  true,
1485
  true,
 
1497
  true,
1498
  false,
1499
  false,
1500
+ false,
1501
  true,
1502
  true,
1503
  true,
 
1510
  false,
1511
  false,
1512
  false,
 
1513
  false,
1514
  false,
1515
  false,
1516
  false,
1517
  false,
1518
  false,
1519
+ false,
1520
+ false
1521
  ],
1522
  "model.decoder.layers.18.self_attn.out_proj.lora_E": [
1523
  true,
 
1527
  true,
1528
  true,
1529
  true,
1530
+ false,
1531
  true,
1532
  true,
1533
  true,
1534
  true
1535
  ],
1536
  "model.decoder.layers.18.self_attn.q_proj.lora_E": [
 
1537
  false,
1538
  false,
1539
  false,
1540
  false,
1541
  false,
 
1542
  false,
1543
  false,
1544
  false,
1545
  false,
1546
+ false,
1547
+ false,
1548
+ false
1549
  ],
1550
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1551
  true,
1552
+ false,
1553
  true,
1554
+ false,
 
1555
  true,
1556
  true,
1557
  false,
 
1576
  false
1577
  ],
1578
  "model.decoder.layers.19.encoder_attn.out_proj.lora_E": [
1579
+ false,
1580
  true,
1581
+ false,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
  true,
1587
+ false,
1588
+ false,
1589
+ false,
 
 
 
 
 
 
1590
  true
1591
  ],
1592
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
 
1607
  true,
1608
  true,
1609
  false,
 
 
1610
  false,
1611
+ false,
1612
+ false,
1613
  true,
1614
  false,
1615
  false,
1616
+ false,
1617
+ false,
1618
+ false
1619
  ],
1620
  "model.decoder.layers.19.fc1.lora_E": [
1621
  true,
 
1636
  false,
1637
  true,
1638
  false,
1639
+ false,
1640
  true,
1641
  false,
1642
  true,
 
1647
  ],
1648
  "model.decoder.layers.19.self_attn.k_proj.lora_E": [
1649
  false,
1650
+ false,
1651
  false,
1652
  false,
1653
  true,
1654
  false,
1655
  false,
1656
+ false,
1657
+ false,
1658
  false,
1659
  true,
1660
  false
1661
  ],
1662
  "model.decoder.layers.19.self_attn.out_proj.lora_E": [
 
1663
  true,
1664
  false,
1665
+ false,
1666
  true,
1667
  false,
1668
  true,
 
1716
  false
1717
  ],
1718
  "model.decoder.layers.2.encoder_attn.out_proj.lora_E": [
 
1719
  false,
 
 
 
1720
  false,
 
 
1721
  false,
1722
+ false,
1723
+ false,
1724
+ false,
1725
+ false,
1726
+ false,
1727
+ false,
1728
+ false,
1729
+ false,
1730
  false
1731
  ],
1732
  "model.decoder.layers.2.encoder_attn.q_proj.lora_E": [
 
1744
  false
1745
  ],
1746
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1747
+ false,
1748
+ false,
 
 
 
 
1749
  false,
1750
  true,
1751
  false,
1752
  true,
1753
+ false,
1754
+ false,
1755
+ false,
1756
  true,
1757
+ false,
1758
+ false
1759
  ],
1760
  "model.decoder.layers.2.fc1.lora_E": [
1761
  true,
 
1800
  false
1801
  ],
1802
  "model.decoder.layers.2.self_attn.out_proj.lora_E": [
 
1803
  true,
1804
  true,
1805
  false,
1806
+ false,
1807
  true,
1808
  true,
1809
+ false,
1810
  true,
1811
  true,
1812
  true,
1813
  true,
1814
+ true
 
1815
  ],
1816
  "model.decoder.layers.2.self_attn.q_proj.lora_E": [
1817
  false,
 
1835
  false,
1836
  false,
1837
  false,
 
1838
  false,
1839
+ false,
1840
+ false,
1841
  false,
1842
  false
1843
  ],
 
1856
  false
1857
  ],
1858
  "model.decoder.layers.20.encoder_attn.out_proj.lora_E": [
1859
+ false,
1860
  true,
1861
+ false,
1862
  true,
1863
  true,
1864
+ false,
1865
  true,
1866
  true,
1867
  true,
1868
  true,
1869
  true,
1870
+ false
 
 
 
1871
  ],
1872
  "model.decoder.layers.20.encoder_attn.q_proj.lora_E": [
1873
  false,
 
1875
  false,
1876
  false,
1877
  false,
1878
+ false,
1879
  false,
1880
  false,
1881
  false,
 
1884
  false
1885
  ],
1886
  "model.decoder.layers.20.encoder_attn.v_proj.lora_E": [
1887
+ false,
1888
  true,
1889
  true,
1890
  true,
1891
  true,
1892
  true,
1893
+ false,
 
1894
  true,
1895
  true,
1896
  true,
 
1926
  true
1927
  ],
1928
  "model.decoder.layers.20.self_attn.k_proj.lora_E": [
1929
+ true,
1930
  true,
1931
  true,
1932
  true,
 
1949
  false,
1950
  false,
1951
  false,
1952
+ false,
1953
  true,
1954
  true
1955
  ],
 
1971
  false,
1972
  false,
1973
  false,
 
 
 
1974
  false,
1975
+ false,
1976
  false,
1977
  false,
1978
  true,
1979
+ false,
1980
+ false,
1981
+ false,
1982
  true
1983
  ],
1984
  "model.decoder.layers.21.encoder_attn.k_proj.lora_E": [
 
1996
  false
1997
  ],
1998
  "model.decoder.layers.21.encoder_attn.out_proj.lora_E": [
1999
+ false,
 
 
 
 
2000
  false,
2001
  true,
2002
+ false,
2003
  true,
2004
+ false,
2005
+ false,
2006
  true,
2007
  true,
2008
+ false,
2009
+ false,
2010
  true
2011
  ],
2012
  "model.decoder.layers.21.encoder_attn.q_proj.lora_E": [
 
2015
  false,
2016
  false,
2017
  false,
2018
+ false,
2019
  false,
2020
  false,
2021
  false,
 
2056
  true,
2057
  true,
2058
  true,
2059
+ false,
2060
  true,
2061
  true,
2062
  true,
 
2071
  true,
2072
  true,
2073
  true,
2074
+ false,
2075
  true,
2076
  false,
2077
  true,
 
2085
  true,
2086
  true,
2087
  false,
2088
+ false,
2089
+ false,
2090
  true,
2091
  true,
2092
  false,
 
2097
  true,
2098
  false,
2099
  false,
2100
+ false,
 
2101
  true,
2102
  true,
2103
  false,
2104
+ false,
2105
  true,
2106
  true,
2107
  false,
2108
  false
2109
  ],
2110
  "model.decoder.layers.21.self_attn.v_proj.lora_E": [
2111
+ false,
 
 
2112
  true,
2113
  true,
2114
  true,
 
2116
  true,
2117
  false,
2118
  true,
2119
+ false,
2120
  true,
2121
+ false,
2122
  true
2123
  ],
2124
  "model.decoder.layers.22.encoder_attn.k_proj.lora_E": [
 
2136
  false
2137
  ],
2138
  "model.decoder.layers.22.encoder_attn.out_proj.lora_E": [
 
 
2139
  false,
2140
  true,
2141
  false,
2142
  true,
2143
+ false,
2144
  true,
2145
  true,
2146
  true,
2147
+ false,
2148
  true,
2149
  true,
2150
  true
 
2196
  false,
2197
  true,
2198
  true,
2199
+ false,
2200
  true,
2201
  true,
2202
  true,
 
2206
  false
2207
  ],
2208
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2209
+ false,
2210
  true,
2211
  true,
2212
  false,
 
2213
  false,
2214
+ false,
2215
+ false,
2216
  false,
2217
  false,
2218
  false,
 
2243
  false,
2244
  false,
2245
  false,
2246
+ false,
2247
+ false,
2248
  false
2249
  ],
2250
  "model.decoder.layers.22.self_attn.v_proj.lora_E": [
 
2253
  false,
2254
  true,
2255
  true,
2256
+ false,
2257
  true,
2258
  true,
2259
  true,
2260
  true,
2261
+ false,
 
2262
  true
2263
  ],
2264
  "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
 
2298
  false,
2299
  false,
2300
  false,
2301
+ false,
2302
  false,
2303
  false,
2304
  false
 
2339
  true,
2340
  false,
2341
  true,
2342
+ false,
2343
  true,
2344
  false,
2345
  true,
2346
  true
2347
  ],
2348
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2349
+ false,
2350
+ false,
2351
  false,
2352
  true,
2353
  true,
2354
+ false,
2355
+ false,
2356
  true,
2357
+ false,
2358
  true,
2359
+ false,
 
 
 
2360
  true
2361
  ],
2362
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
 
2374
  false
2375
  ],
2376
  "model.decoder.layers.23.self_attn.q_proj.lora_E": [
2377
+ false,
2378
  false,
2379
  false,
2380
  false,
 
2455
  true,
2456
  true,
2457
  true,
2458
+ false
2459
  ],
2460
  "model.decoder.layers.24.fc1.lora_E": [
2461
  true,
2462
  true,
2463
  true,
2464
+ false,
2465
  true,
2466
  true,
2467
  true,
 
2497
  true,
2498
  true,
2499
  true,
2500
+ false
2501
  ],
2502
  "model.decoder.layers.24.self_attn.out_proj.lora_E": [
 
 
2503
  true,
2504
  false,
2505
+ false,
2506
+ false,
2507
  true,
2508
  true,
2509
+ false,
2510
  true,
2511
  true,
2512
  false,
2513
+ false,
2514
  false
2515
  ],
2516
  "model.decoder.layers.24.self_attn.q_proj.lora_E": [
 
 
2517
  false,
2518
  false,
 
 
 
2519
  false,
2520
+ false,
2521
+ false,
2522
+ false,
2523
+ false,
2524
+ false,
2525
+ false,
2526
+ false,
2527
+ false,
2528
  false
2529
  ],
2530
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2531
  true,
2532
  true,
2533
+ false,
2534
+ false,
2535
  true,
2536
  true,
2537
  true,
2538
+ false,
2539
  true,
2540
+ false,
 
 
 
2541
  true,
2542
  true
2543
  ],
 
2572
  "model.decoder.layers.25.encoder_attn.q_proj.lora_E": [
2573
  false,
2574
  false,
 
2575
  false,
2576
  false,
2577
  false,
 
2579
  false,
2580
  false,
2581
  false,
2582
+ false,
2583
+ false,
2584
  false
2585
  ],
2586
  "model.decoder.layers.25.encoder_attn.v_proj.lora_E": [
 
2633
  false,
2634
  true,
2635
  true,
2636
+ false,
2637
+ false,
2638
  true,
2639
  true,
2640
+ false
 
 
2641
  ],
2642
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2643
  false,
2644
  false,
2645
+ false,
2646
  false,
2647
  false,
2648
  true,
2649
+ false,
2650
+ false,
2651
  true,
2652
  true,
2653
+ false,
 
 
2654
  false
2655
  ],
2656
  "model.decoder.layers.25.self_attn.q_proj.lora_E": [
 
2657
  false,
2658
  false,
2659
  false,
 
2663
  false,
2664
  false,
2665
  false,
2666
+ false,
2667
+ false,
2668
+ false
2669
  ],
2670
  "model.decoder.layers.25.self_attn.v_proj.lora_E": [
2671
  false,
 
2702
  true,
2703
  true,
2704
  true,
2705
+ false,
2706
  true,
2707
  true,
2708
  true,
 
2759
  true,
2760
  true,
2761
  false,
2762
+ false,
2763
+ false,
2764
  false,
2765
  true,
2766
  false
2767
  ],
2768
  "model.decoder.layers.26.self_attn.k_proj.lora_E": [
2769
+ false,
2770
  true,
2771
  true,
2772
  true,
2773
  false,
2774
  false,
2775
+ false,
2776
+ false,
2777
  false,
2778
  true,
2779
+ false,
2780
+ false
 
2781
  ],
2782
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
 
2783
  false,
2784
  false,
2785
  true,
 
2786
  true,
2787
+ false,
2788
+ false,
2789
  true,
2790
  false,
2791
  false,
 
2794
  true
2795
  ],
2796
  "model.decoder.layers.26.self_attn.q_proj.lora_E": [
 
2797
  false,
 
2798
  false,
2799
  true,
 
2800
  false,
2801
  false,
2802
+ false,
2803
+ false,
2804
+ false,
2805
+ false,
2806
  false,
2807
  false,
2808
  true
 
2811
  false,
2812
  true,
2813
  false,
 
 
2814
  false,
2815
  true,
2816
  false,
2817
+ false,
2818
+ true,
2819
  true,
2820
  true,
2821
  false,
 
2868
  true,
2869
  true,
2870
  true,
2871
+ false,
2872
  true,
2873
  true,
2874
  true,
2875
  true,
2876
  true,
2877
+ false,
 
2878
  true
2879
  ],
2880
  "model.decoder.layers.27.fc1.lora_E": [
 
2892
  true
2893
  ],
2894
  "model.decoder.layers.27.fc2.lora_E": [
2895
+ false,
2896
  false,
2897
  true,
2898
  true,
 
2906
  false
2907
  ],
2908
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
 
 
 
 
 
2909
  true,
2910
  false,
2911
  true,
2912
+ false,
2913
+ false,
2914
+ false,
2915
+ false,
2916
  true,
2917
+ false,
2918
  true,
2919
  true,
2920
  true
 
2924
  true,
2925
  true,
2926
  false,
2927
+ false,
2928
  true,
2929
  false,
2930
  false,
 
2931
  false,
2932
  false,
2933
+ false,
2934
+ false
2935
  ],
2936
  "model.decoder.layers.27.self_attn.q_proj.lora_E": [
2937
  true,
 
2940
  false,
2941
  false,
2942
  false,
 
2943
  false,
2944
  false,
2945
+ false,
2946
+ false,
2947
  false,
2948
  false
2949
  ],
2950
  "model.decoder.layers.27.self_attn.v_proj.lora_E": [
2951
+ false,
2952
  true,
2953
+ false,
 
2954
  false,
2955
  false,
2956
  false,
 
2959
  false,
2960
  false,
2961
  true,
2962
+ false
2963
  ],
2964
  "model.decoder.layers.28.encoder_attn.k_proj.lora_E": [
2965
  false,
 
2983
  true,
2984
  true,
2985
  true,
2986
+ false,
2987
  true,
2988
  true,
2989
  true,
 
3032
  true
3033
  ],
3034
  "model.decoder.layers.28.fc2.lora_E": [
3035
+ false,
3036
+ false,
3037
  false,
3038
  true,
3039
  true,
 
3041
  true,
3042
  true,
3043
  true,
3044
+ false,
3045
  true,
3046
  true
3047
  ],
3048
  "model.decoder.layers.28.self_attn.k_proj.lora_E": [
 
3049
  true,
3050
  true,
3051
  true,
3052
+ false,
3053
  true,
3054
  false,
3055
  true,
 
3061
  ],
3062
  "model.decoder.layers.28.self_attn.out_proj.lora_E": [
3063
  false,
 
3064
  false,
3065
+ false,
3066
+ false,
3067
  true,
3068
  true,
3069
  true,
3070
  false,
3071
+ false,
3072
+ false,
3073
  false,
3074
  false
3075
  ],
 
3090
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3091
  true,
3092
  false,
 
 
3093
  false,
3094
  true,
3095
+ false,
3096
  true,
3097
  false,
3098
  false,
3099
+ false,
3100
+ false,
3101
  false,
3102
  true
3103
  ],
 
3119
  true,
3120
  true,
3121
  true,
3122
+ false,
3123
+ false,
3124
+ false,
3125
  true,
3126
+ false,
3127
+ false,
3128
+ false,
3129
+ false,
 
 
 
3130
  true
3131
  ],
3132
  "model.decoder.layers.29.encoder_attn.q_proj.lora_E": [
 
3149
  true,
3150
  true,
3151
  true,
3152
+ false,
3153
  true,
3154
  true,
3155
  true,
 
3172
  true
3173
  ],
3174
  "model.decoder.layers.29.fc2.lora_E": [
3175
+ false,
3176
  true,
3177
  true,
3178
  true,
3179
  true,
3180
+ false,
 
3181
  true,
3182
  true,
3183
  true,
 
3186
  true
3187
  ],
3188
  "model.decoder.layers.29.self_attn.k_proj.lora_E": [
 
 
3189
  false,
3190
  false,
3191
  false,
3192
+ false,
 
3193
  false,
3194
  false,
3195
  true,
3196
+ false,
3197
+ false,
3198
+ false,
3199
+ false,
3200
  false
3201
  ],
3202
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
 
3205
  true,
3206
  false,
3207
  false,
 
3208
  false,
3209
  false,
 
3210
  false,
3211
+ false,
3212
+ false,
3213
+ false,
3214
  false
3215
  ],
3216
  "model.decoder.layers.29.self_attn.q_proj.lora_E": [
3217
  false,
3218
+ false,
3219
  false,
3220
  false,
3221
  false,
 
3239
  false,
3240
  false,
3241
  false,
3242
+ false
3243
  ],
3244
  "model.decoder.layers.3.encoder_attn.k_proj.lora_E": [
3245
  false,
 
3258
  "model.decoder.layers.3.encoder_attn.out_proj.lora_E": [
3259
  true,
3260
  true,
3261
+ false,
3262
  true,
3263
  true,
3264
  true,
3265
  true,
3266
  true,
3267
+ false,
3268
+ false,
3269
  true,
3270
+ false
 
 
 
3271
  ],
3272
  "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
3273
  false,
 
3287
  false,
3288
  false,
3289
  true,
3290
+ false,
3291
+ false,
3292
+ false,
3293
+ false,
3294
  false,
3295
  true,
3296
+ false,
 
 
3297
  true,
3298
  false
3299
  ],
 
3347
  false,
3348
  false,
3349
  false,
 
3350
  false,
 
3351
  false,
3352
+ false,
3353
+ false,
3354
+ false
3355
  ],
3356
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
3357
  false,
 
3370
  "model.decoder.layers.3.self_attn.v_proj.lora_E": [
3371
  true,
3372
  false,
 
3373
  false,
 
3374
  false,
3375
+ false,
3376
+ false,
3377
+ false,
3378
  false,
3379
  false,
3380
  true,
3381
+ false,
3382
+ false
3383
  ],
3384
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
3385
  false,
 
3396
  false
3397
  ],
3398
  "model.decoder.layers.30.encoder_attn.out_proj.lora_E": [
 
3399
  true,
3400
  true,
3401
  false,
3402
+ false,
3403
+ false,
3404
+ false,
3405
  true,
3406
+ false,
3407
  true,
3408
  true,
3409
  true,
3410
+ false
 
 
 
3411
  ],
3412
  "model.decoder.layers.30.encoder_attn.q_proj.lora_E": [
3413
  false,
 
3431
  true,
3432
  true,
3433
  true,
3434
+ false,
3435
  true,
3436
  true,
3437
  true,
 
3474
  true,
3475
  false,
3476
  true,
3477
+ false,
3478
  true,
3479
  true,
3480
  true
3481
  ],
3482
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3483
  false,
3484
+ false,
3485
  false,
3486
  false,
3487
  false,
 
3501
  false,
3502
  false,
3503
  false,
3504
+ false,
3505
  false,
3506
  false,
3507
  false,
 
3514
  false,
3515
  false,
3516
  false,
 
3517
  false,
3518
+ false,
3519
+ false,
3520
  true,
3521
  false,
3522
  true
 
3539
  false,
3540
  false,
3541
  false,
 
3542
  false,
3543
  false,
3544
  false,
3545
  false,
3546
  false,
3547
+ false,
3548
+ false,
3549
  false,
3550
  false
3551
  ],
 
3565
  ],
3566
  "model.decoder.layers.31.encoder_attn.v_proj.lora_E": [
3567
  false,
 
 
 
 
3568
  false,
3569
  true,
3570
+ false,
3571
  true,
3572
+ false,
3573
+ false,
3574
+ false,
3575
+ false,
3576
  false,
3577
  true,
3578
  true
 
3580
  "model.decoder.layers.31.fc1.lora_E": [
3581
  false,
3582
  true,
 
3583
  false,
3584
  false,
3585
  false,
3586
+ false,
3587
+ false,
3588
  false,
3589
  true,
3590
  true,
 
3634
  false
3635
  ],
3636
  "model.decoder.layers.31.self_attn.q_proj.lora_E": [
3637
+ false,
3638
  false,
3639
  false,
3640
  false,
 
3650
  "model.decoder.layers.31.self_attn.v_proj.lora_E": [
3651
  false,
3652
  false,
 
3653
  false,
3654
  false,
3655
+ false,
3656
+ false,
3657
+ false,
3658
  false,
3659
  false,
3660
  false,
 
3663
  ],
3664
  "model.decoder.layers.4.encoder_attn.k_proj.lora_E": [
3665
  false,
3666
+ false,
3667
  false,
3668
  false,
3669
  false,
 
3678
  "model.decoder.layers.4.encoder_attn.out_proj.lora_E": [
3679
  true,
3680
  false,
 
 
 
 
 
3681
  false,
3682
+ false,
3683
  false,
3684
  true,
3685
+ false,
3686
+ false,
3687
+ false,
3688
+ false,
3689
+ false,
3690
+ false
3691
  ],
3692
  "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
3693
  false,
 
3712
  false,
3713
  true,
3714
  true,
3715
+ false,
3716
  true,
3717
  true,
3718
  true
 
3793
  true,
3794
  false,
3795
  false,
3796
+ false,
3797
+ false,
3798
  false,
3799
  true,
3800
  false,
 
3817
  ],
3818
  "model.decoder.layers.5.encoder_attn.out_proj.lora_E": [
3819
  false,
 
3820
  false,
3821
  false,
3822
  false,
 
 
3823
  false,
3824
+ false,
3825
+ false,
3826
+ false,
3827
+ false,
3828
  false,
3829
  false,
3830
  false
 
3844
  false
3845
  ],
3846
  "model.decoder.layers.5.encoder_attn.v_proj.lora_E": [
3847
+ false,
3848
+ false,
3849
  true,
3850
  true,
3851
  true,
 
3990
  false,
3991
  false,
3992
  false,
 
3993
  false,
3994
+ false,
3995
+ false,
3996
  false,
3997
  false,
3998
  false
 
4001
  true,
4002
  true,
4003
  true,
4004
+ false,
4005
  true,
4006
  true,
4007
  true,
 
4048
  false,
4049
  false,
4050
  false,
 
4051
  false,
4052
  false,
4053
+ false,
4054
+ false
4055
  ],
4056
  "model.decoder.layers.6.self_attn.q_proj.lora_E": [
4057
  false,
 
4068
  false
4069
  ],
4070
  "model.decoder.layers.6.self_attn.v_proj.lora_E": [
4071
+ false,
4072
  true,
4073
  false,
4074
  false,
4075
  false,
 
4076
  false,
4077
  false,
4078
+ false,
4079
+ false,
4080
  true,
4081
  false,
4082
+ false
4083
  ],
4084
  "model.decoder.layers.7.encoder_attn.k_proj.lora_E": [
4085
  false,
 
4129
  false,
4130
  false,
4131
  false,
4132
+ false,
4133
  false,
4134
  false,
4135
  false,
 
4149
  true,
4150
  true,
4151
  true,
4152
+ false
4153
  ],
4154
  "model.decoder.layers.7.fc2.lora_E": [
4155
  true,
 
4212
  false,
4213
  true,
4214
  true,
4215
+ false,
4216
  true,
4217
  false,
4218
  false,
 
4242
  false,
4243
  false,
4244
  false,
 
4245
  false,
4246
  false,
4247
  false,
4248
+ false,
4249
+ false,
4250
+ false
4251
  ],
4252
  "model.decoder.layers.8.encoder_attn.q_proj.lora_E": [
4253
  false,
 
4287
  true,
4288
  true,
4289
  true,
4290
+ false,
4291
  true,
4292
  true
4293
  ],
4294
  "model.decoder.layers.8.fc2.lora_E": [
4295
  true,
4296
+ false,
4297
  true,
4298
  true,
4299
  true,
 
4349
  ],
4350
  "model.decoder.layers.8.self_attn.v_proj.lora_E": [
4351
  false,
4352
+ false,
4353
  false,
4354
  false,
4355
  false,
 
4358
  false,
4359
  false,
4360
  true,
4361
+ false,
4362
  false
4363
  ],
4364
  "model.decoder.layers.9.encoder_attn.k_proj.lora_E": [
 
4413
  false,
4414
  false,
4415
  false,
4416
+ false,
4417
+ false,
4418
  false
4419
  ],
4420
  "model.decoder.layers.9.fc1.lora_E": [
 
4437
  true,
4438
  true,
4439
  true,
4440
+ false,
4441
  true,
4442
  true,
4443
  true,
 
4460
  false
4461
  ],
4462
  "model.decoder.layers.9.self_attn.out_proj.lora_E": [
 
4463
  false,
 
4464
  false,
4465
  false,
4466
  false,
 
4469
  false,
4470
  false,
4471
  false,
4472
+ false,
4473
+ false,
4474
+ false
4475
  ],
4476
  "model.decoder.layers.9.self_attn.q_proj.lora_E": [
4477
  false,
 
4488
  false
4489
  ],
4490
  "model.decoder.layers.9.self_attn.v_proj.lora_E": [
 
4491
  false,
4492
  false,
4493
  false,
4494
  false,
 
4495
  false,
4496
  true,
4497
+ false,
4498
+ false,
4499
+ false,
4500
  false,
4501
  true,
4502
  false
4503
  ],
4504
  "model.encoder.layers.0.fc1.lora_E": [
4505
  false,
4506
+ false,
4507
+ false,
4508
  false,
4509
  false,
4510
  false,
 
4516
  false
4517
  ],
4518
  "model.encoder.layers.0.fc2.lora_E": [
 
4519
  false,
4520
  false,
4521
  false,
4522
+ false,
4523
+ false,
4524
+ false,
4525
  false,
4526
  false,
4527
  false,
 
4549
  false,
4550
  true,
4551
  false,
4552
+ false,
4553
  true,
4554
  true,
4555
+ false,
 
4556
  false,
4557
  false,
4558
  false
 
4575
  false,
4576
  false,
4577
  false,
 
4578
  false,
4579
+ false,
4580
+ false,
4581
  false,
4582
  false,
4583
  false,
 
4593
  false,
4594
  false,
4595
  false,
4596
+ false,
4597
  false,
4598
  false,
4599
  false,
 
4611
  false,
4612
  false,
4613
  true,
4614
+ false
4615
  ],
4616
  "model.encoder.layers.1.self_attn.k_proj.lora_E": [
4617
  false,
 
4635
  false,
4636
  false,
4637
  false,
 
4638
  false,
4639
+ false,
4640
+ false,
4641
  false,
4642
  false
4643
  ],
 
4671
  ],
4672
  "model.encoder.layers.10.fc1.lora_E": [
4673
  false,
 
4674
  false,
4675
  false,
4676
  false,
 
4679
  false,
4680
  false,
4681
  false,
4682
+ false,
4683
+ false,
4684
  false
4685
  ],
4686
  "model.encoder.layers.10.fc2.lora_E": [
 
4689
  false,
4690
  false,
4691
  false,
 
4692
  false,
4693
  false,
 
4694
  false,
4695
  true,
4696
+ false,
4697
+ false,
4698
  false
4699
  ],
4700
  "model.encoder.layers.10.self_attn.k_proj.lora_E": [
 
4754
  false
4755
  ],
4756
  "model.encoder.layers.11.fc1.lora_E": [
4757
+ false,
4758
  false,
4759
  true,
4760
+ false,
4761
  false,
4762
  true,
4763
  false,
 
4765
  false,
4766
  false,
4767
  true,
4768
+ false
4769
  ],
4770
  "model.encoder.layers.11.fc2.lora_E": [
4771
+ false,
4772
  false,
4773
  true,
4774
  true,
4775
  true,
4776
+ false,
 
4777
  false,
4778
  false,
4779
  true,
 
4800
  false,
4801
  true,
4802
  false,
 
4803
  false,
4804
  false,
4805
  false,
4806
  false,
4807
  false,
4808
  false,
4809
+ false,
4810
+ false
4811
  ],
4812
  "model.encoder.layers.11.self_attn.q_proj.lora_E": [
4813
  false,
 
4840
  "model.encoder.layers.12.fc1.lora_E": [
4841
  false,
4842
  false,
 
 
4843
  false,
4844
  true,
4845
+ false,
4846
  true,
4847
  true,
4848
  true,
4849
  false,
4850
+ false,
4851
+ false,
4852
  true
4853
  ],
4854
  "model.encoder.layers.12.fc2.lora_E": [
4855
  true,
4856
  false,
 
4857
  false,
 
4858
  false,
4859
+ false,
4860
+ false,
4861
+ false,
4862
+ false,
4863
+ false,
4864
  false,
4865
  false,
4866
  true
 
4882
  "model.encoder.layers.12.self_attn.out_proj.lora_E": [
4883
  false,
4884
  true,
4885
+ false,
4886
  false,
4887
  false,
4888
  true,
 
4919
  false,
4920
  true,
4921
  false,
4922
+ false
4923
  ],
4924
  "model.encoder.layers.13.fc1.lora_E": [
4925
  true,
4926
  false,
 
4927
  false,
4928
  false,
4929
  true,
4930
+ true,
4931
  false,
4932
  false,
4933
  true,
 
4944
  false,
4945
  false,
4946
  true,
4947
+ false,
4948
  false,
4949
  true,
4950
  true
 
4997
  false,
4998
  false,
4999
  false,
 
5000
  false,
 
5001
  false,
5002
  false,
5003
  false,
5004
+ false,
5005
+ false,
5006
+ false
5007
  ],
5008
  "model.encoder.layers.14.fc1.lora_E": [
 
5009
  true,
5010
  false,
 
 
 
5011
  false,
5012
  true,
5013
+ false,
5014
  true,
5015
+ false,
5016
  true,
5017
+ false,
5018
  true,
5019
+ false,
5020
  true
5021
  ],
5022
  "model.encoder.layers.14.fc2.lora_E": [
 
5026
  false,
5027
  true,
5028
  false,
5029
+ false,
5030
  true,
5031
  true,
5032
  true,
 
5052
  true,
5053
  false,
5054
  false,
5055
+ false,
5056
+ false,
5057
+ false,
5058
  true,
5059
+ false,
 
 
 
5060
  false,
5061
  true,
5062
  false
 
5078
  "model.encoder.layers.14.self_attn.v_proj.lora_E": [
5079
  false,
5080
  true,
5081
+ false,
5082
  true,
5083
  false,
5084
  false,
5085
  true,
5086
+ false,
5087
  true,
5088
  true,
5089
  true,
 
5099
  true,
5100
  true,
5101
  true,
5102
+ false,
5103
  true,
5104
  false
5105
  ],
5106
  "model.encoder.layers.15.fc2.lora_E": [
5107
  true,
5108
  false,
5109
+ false,
5110
  true,
5111
  true,
5112
  true,
 
5114
  true,
5115
  true,
5116
  false,
5117
+ false,
5118
  false
5119
  ],
5120
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
 
5140
  true,
5141
  false,
5142
  false,
5143
+ false,
5144
+ false,
5145
+ false,
5146
  false
5147
  ],
5148
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
 
5168
  false,
5169
  false,
5170
  true,
5171
+ false,
5172
  false,
5173
  false,
5174
  true
 
5217
  ],
5218
  "model.encoder.layers.16.self_attn.out_proj.lora_E": [
5219
  true,
5220
+ false,
5221
  true,
5222
+ false,
5223
  true,
5224
+ false,
 
 
5225
  true,
5226
  true,
5227
  false,
 
5273
  ],
5274
  "model.encoder.layers.17.fc2.lora_E": [
5275
  true,
5276
+ false,
5277
  true,
5278
  true,
5279
  true,
 
5306
  false,
5307
  true,
5308
  true,
5309
+ false,
5310
  true,
5311
  true,
5312
+ false,
 
5313
  true,
5314
  true
5315
  ],
 
5385
  ],
5386
  "model.encoder.layers.18.self_attn.out_proj.lora_E": [
5387
  true,
5388
+ false,
5389
  true,
5390
  false,
5391
  false,
5392
  false,
5393
+ false,
5394
  true,
5395
  true,
5396
  true,
5397
+ false,
 
5398
  false
5399
  ],
5400
  "model.encoder.layers.18.self_attn.q_proj.lora_E": [
 
5413
  ],
5414
  "model.encoder.layers.18.self_attn.v_proj.lora_E": [
5415
  true,
5416
+ false,
5417
  true,
5418
  true,
5419
  true,
 
5440
  true
5441
  ],
5442
  "model.encoder.layers.19.fc2.lora_E": [
5443
+ false,
5444
  true,
5445
  true,
5446
  true,
 
5470
  "model.encoder.layers.19.self_attn.out_proj.lora_E": [
5471
  false,
5472
  false,
5473
+ false,
5474
+ false,
5475
  false,
5476
  false,
5477
  true,
 
5503
  true,
5504
  true,
5505
  true,
5506
+ false,
5507
+ false,
5508
  true,
5509
  true,
5510
  true
 
5524
  false
5525
  ],
5526
  "model.encoder.layers.2.fc2.lora_E": [
 
5527
  false,
5528
  false,
5529
  false,
 
5530
  false,
5531
  false,
 
5532
  false,
5533
  false,
5534
  false,
5535
+ false,
5536
+ false,
5537
+ false,
5538
+ false
5539
  ],
5540
  "model.encoder.layers.2.self_attn.k_proj.lora_E": [
5541
  false,
 
5636
  false
5637
  ],
5638
  "model.encoder.layers.20.self_attn.out_proj.lora_E": [
 
5639
  true,
5640
  false,
5641
+ false,
5642
  true,
5643
  true,
5644
+ false,
5645
  true,
5646
  true,
5647
+ false,
 
5648
  true,
5649
  false,
5650
  true
 
5666
  "model.encoder.layers.20.self_attn.v_proj.lora_E": [
5667
  true,
5668
  true,
5669
+ false,
5670
  true,
5671
  true,
5672
  true,
 
5703
  true,
5704
  true,
5705
  true,
5706
+ false
5707
  ],
5708
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5709
  false,
 
5720
  false
5721
  ],
5722
  "model.encoder.layers.21.self_attn.out_proj.lora_E": [
 
5723
  false,
5724
+ false,
5725
+ false,
 
5726
  true,
5727
  false,
5728
  false,
5729
+ false,
5730
+ false,
5731
  true,
5732
  true,
5733
  false,
 
5804
  false
5805
  ],
5806
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5807
+ false,
 
 
 
5808
  false,
5809
  true,
5810
  true,
5811
+ false,
5812
  true,
5813
+ false,
5814
+ false,
5815
  true,
5816
+ false,
5817
  false,
5818
  true
5819
  ],
 
5835
  false,
5836
  true,
5837
  true,
5838
+ false,
5839
  true,
5840
+ false,
 
5841
  false,
5842
  true,
5843
  true,
5844
  false,
5845
  true,
5846
+ false
5847
  ],
5848
  "model.encoder.layers.23.fc1.lora_E": [
5849
  true,
 
5888
  false
5889
  ],
5890
  "model.encoder.layers.23.self_attn.out_proj.lora_E": [
5891
+ false,
5892
  true,
5893
  true,
5894
  true,
5895
+ false,
5896
+ false,
 
5897
  true,
5898
  true,
5899
  false,
5900
+ false,
5901
  true,
5902
  true
5903
  ],
 
5917
  ],
5918
  "model.encoder.layers.23.self_attn.v_proj.lora_E": [
5919
  true,
5920
+ false,
5921
  false,
5922
  false,
5923
  true,
 
5974
  "model.encoder.layers.24.self_attn.out_proj.lora_E": [
5975
  true,
5976
  true,
5977
+ false,
5978
+ false,
5979
+ false,
5980
  true,
5981
+ false,
 
 
 
5982
  true,
5983
  true,
5984
  false,
 
5990
  false,
5991
  false,
5992
  false,
5993
+ false,
5994
  false,
5995
  false,
5996
  false,
 
6011
  true,
6012
  true,
6013
  true,
6014
+ false
6015
  ],
6016
  "model.encoder.layers.25.fc1.lora_E": [
6017
  true,
 
6057
  ],
6058
  "model.encoder.layers.25.self_attn.out_proj.lora_E": [
6059
  true,
6060
+ false,
6061
  true,
6062
  false,
6063
  false,
 
 
 
6064
  false,
6065
  true,
6066
  true,
6067
+ false,
6068
+ false,
6069
+ false,
6070
  true
6071
  ],
6072
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
 
6084
  false
6085
  ],
6086
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
 
 
6087
  true,
6088
  false,
6089
  true,
6090
+ false,
6091
  true,
6092
  true,
6093
  true,
6094
  true,
6095
+ false,
6096
  true,
6097
  true,
6098
  true
 
6135
  false,
6136
  false,
6137
  false,
6138
+ false,
6139
  false,
6140
  false
6141
  ],
6142
  "model.encoder.layers.26.self_attn.out_proj.lora_E": [
 
 
6143
  false,
6144
  true,
6145
  false,
6146
+ false,
 
 
6147
  false,
6148
  true,
6149
+ false,
6150
+ false,
6151
+ false,
6152
  true,
6153
+ false,
6154
+ false
6155
  ],
6156
  "model.encoder.layers.26.self_attn.q_proj.lora_E": [
6157
  false,
 
6226
  "model.encoder.layers.27.self_attn.out_proj.lora_E": [
6227
  true,
6228
  true,
6229
+ false,
6230
  true,
6231
+ false,
6232
  true,
6233
  true,
6234
+ false,
6235
  true,
6236
+ false,
 
 
 
6237
  false,
6238
  false
6239
  ],
 
6308
  false
6309
  ],
6310
  "model.encoder.layers.28.self_attn.out_proj.lora_E": [
6311
+ false,
6312
+ false,
6313
  false,
6314
  true,
6315
+ false,
6316
  true,
6317
  true,
6318
  true,
6319
  true,
6320
  true,
6321
  true,
6322
+ false
 
6323
  ],
6324
  "model.encoder.layers.28.self_attn.q_proj.lora_E": [
6325
  false,
 
6392
  false
6393
  ],
6394
  "model.encoder.layers.29.self_attn.out_proj.lora_E": [
6395
+ false,
6396
  true,
6397
  true,
6398
  true,
 
6400
  true,
6401
  true,
6402
  true,
6403
+ false,
 
6404
  true,
6405
  true,
6406
  true
 
6448
  false
6449
  ],
6450
  "model.encoder.layers.3.fc2.lora_E": [
 
6451
  false,
6452
  false,
6453
  false,
6454
  false,
6455
+ false,
6456
+ false,
6457
  false,
6458
  true,
6459
  false,
6460
  false,
6461
  false,
6462
+ false
6463
  ],
6464
  "model.encoder.layers.3.self_attn.k_proj.lora_E": [
6465
  false,
 
6546
  true
6547
  ],
6548
  "model.encoder.layers.30.self_attn.k_proj.lora_E": [
 
6549
  false,
6550
  false,
6551
  false,
6552
  false,
6553
  false,
6554
+ false,
6555
+ false,
6556
  false,
6557
  false,
6558
  false,
 
6571
  true,
6572
  true,
6573
  true,
6574
+ false
6575
  ],
6576
  "model.encoder.layers.30.self_attn.q_proj.lora_E": [
6577
  false,
 
6592
  true,
6593
  true,
6594
  true,
 
6595
  false,
6596
+ false,
6597
+ false,
6598
  true,
6599
  true,
6600
  true,
 
6649
  false,
6650
  false,
6651
  true,
6652
+ false,
6653
  true,
6654
  true,
6655
  true,
 
6676
  true,
6677
  true,
6678
  true,
6679
+ false,
6680
  true,
6681
  true,
6682
  true,
 
6705
  false,
6706
  false,
6707
  false,
 
6708
  false,
6709
  false,
6710
  false,
 
6711
  false,
6712
+ false,
6713
+ false,
6714
+ false
6715
  ],
6716
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
6717
  false,
 
6785
  ],
6786
  "model.encoder.layers.5.fc2.lora_E": [
6787
  false,
 
 
6788
  false,
6789
  false,
 
6790
  false,
6791
  false,
6792
+ false,
6793
+ false,
6794
+ false,
6795
+ false,
6796
  false,
6797
  true,
6798
  false
 
6857
  false,
6858
  false,
6859
  false,
6860
+ false,
6861
  false,
6862
  false,
6863
  false,
 
6868
  false
6869
  ],
6870
  "model.encoder.layers.6.fc2.lora_E": [
6871
+ false,
6872
  false,
6873
  false,
6874
  true,
 
6876
  false,
6877
  false,
6878
  false,
6879
+ false,
6880
  false,
6881
  false,
6882
  false
 
6948
  false,
6949
  false,
6950
  false,
6951
+ false,
6952
  false
6953
  ],
6954
  "model.encoder.layers.7.fc2.lora_E": [
6955
+ false,
6956
  false,
6957
  false,
6958
  false,
 
7036
  false
7037
  ],
7038
  "model.encoder.layers.8.fc2.lora_E": [
 
7039
  false,
7040
  false,
7041
  false,
 
7042
  false,
7043
  false,
7044
  false,
7045
  false,
7046
  false,
7047
+ false,
7048
+ false,
7049
+ false,
7050
+ false
7051
  ],
7052
  "model.encoder.layers.8.self_attn.k_proj.lora_E": [
7053
  false,
 
7103
  false,
7104
  false,
7105
  true,
7106
+ false
7107
  ],
7108
  "model.encoder.layers.9.fc1.lora_E": [
7109
  false,
 
7129
  false,
7130
  false,
7131
  false,
7132
+ false,
7133
+ false,
7134
  false
7135
  ],
7136
  "model.encoder.layers.9.self_attn.k_proj.lora_E": [
adapter_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:1311a2a41cc909c01ae036e109d56759a17609ac4ef7d5d81f120266d52fae9b
3
- size 46798117
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:433d0ee5fd4ca5539fa68af23d924f22f4e9ead5dc58f8d39e3ccd828722fdf1
3
+ size 39774053
best_checkpoint/README.md CHANGED
@@ -208,6 +208,66 @@ The following `bitsandbytes` quantization config was used during training:
208
  - bnb_4bit_use_double_quant: False
209
  - bnb_4bit_compute_dtype: float32
210
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
211
  The following `bitsandbytes` quantization config was used during training:
212
  - quant_method: bitsandbytes
213
  - load_in_8bit: True
@@ -238,5 +298,10 @@ The following `bitsandbytes` quantization config was used during training:
238
  - PEFT 0.5.0
239
  - PEFT 0.5.0
240
  - PEFT 0.5.0
 
 
 
 
 
241
 
242
  - PEFT 0.5.0
 
208
  - bnb_4bit_use_double_quant: False
209
  - bnb_4bit_compute_dtype: float32
210
 
211
+ The following `bitsandbytes` quantization config was used during training:
212
+ - quant_method: bitsandbytes
213
+ - load_in_8bit: True
214
+ - load_in_4bit: False
215
+ - llm_int8_threshold: 6.0
216
+ - llm_int8_skip_modules: None
217
+ - llm_int8_enable_fp32_cpu_offload: False
218
+ - llm_int8_has_fp16_weight: False
219
+ - bnb_4bit_quant_type: fp4
220
+ - bnb_4bit_use_double_quant: False
221
+ - bnb_4bit_compute_dtype: float32
222
+
223
+ The following `bitsandbytes` quantization config was used during training:
224
+ - quant_method: bitsandbytes
225
+ - load_in_8bit: True
226
+ - load_in_4bit: False
227
+ - llm_int8_threshold: 6.0
228
+ - llm_int8_skip_modules: None
229
+ - llm_int8_enable_fp32_cpu_offload: False
230
+ - llm_int8_has_fp16_weight: False
231
+ - bnb_4bit_quant_type: fp4
232
+ - bnb_4bit_use_double_quant: False
233
+ - bnb_4bit_compute_dtype: float32
234
+
235
+ The following `bitsandbytes` quantization config was used during training:
236
+ - quant_method: bitsandbytes
237
+ - load_in_8bit: True
238
+ - load_in_4bit: False
239
+ - llm_int8_threshold: 6.0
240
+ - llm_int8_skip_modules: None
241
+ - llm_int8_enable_fp32_cpu_offload: False
242
+ - llm_int8_has_fp16_weight: False
243
+ - bnb_4bit_quant_type: fp4
244
+ - bnb_4bit_use_double_quant: False
245
+ - bnb_4bit_compute_dtype: float32
246
+
247
+ The following `bitsandbytes` quantization config was used during training:
248
+ - quant_method: bitsandbytes
249
+ - load_in_8bit: True
250
+ - load_in_4bit: False
251
+ - llm_int8_threshold: 6.0
252
+ - llm_int8_skip_modules: None
253
+ - llm_int8_enable_fp32_cpu_offload: False
254
+ - llm_int8_has_fp16_weight: False
255
+ - bnb_4bit_quant_type: fp4
256
+ - bnb_4bit_use_double_quant: False
257
+ - bnb_4bit_compute_dtype: float32
258
+
259
+ The following `bitsandbytes` quantization config was used during training:
260
+ - quant_method: bitsandbytes
261
+ - load_in_8bit: True
262
+ - load_in_4bit: False
263
+ - llm_int8_threshold: 6.0
264
+ - llm_int8_skip_modules: None
265
+ - llm_int8_enable_fp32_cpu_offload: False
266
+ - llm_int8_has_fp16_weight: False
267
+ - bnb_4bit_quant_type: fp4
268
+ - bnb_4bit_use_double_quant: False
269
+ - bnb_4bit_compute_dtype: float32
270
+
271
  The following `bitsandbytes` quantization config was used during training:
272
  - quant_method: bitsandbytes
273
  - load_in_8bit: True
 
298
  - PEFT 0.5.0
299
  - PEFT 0.5.0
300
  - PEFT 0.5.0
301
+ - PEFT 0.5.0
302
+ - PEFT 0.5.0
303
+ - PEFT 0.5.0
304
+ - PEFT 0.5.0
305
+ - PEFT 0.5.0
306
 
307
  - PEFT 0.5.0
best_checkpoint/adapter_config.json CHANGED
@@ -36,17 +36,17 @@
36
  false
37
  ],
38
  "model.decoder.layers.0.encoder_attn.out_proj.lora_E": [
39
- true,
40
- true,
41
  true,
42
  false,
43
  true,
44
- true,
45
  false,
46
  false,
47
  true,
 
 
48
  true,
49
  true,
 
50
  false
51
  ],
52
  "model.decoder.layers.0.encoder_attn.q_proj.lora_E": [
@@ -73,13 +73,13 @@
73
  false,
74
  false,
75
  false,
76
- true,
77
  true,
78
  true
79
  ],
80
  "model.decoder.layers.0.fc1.lora_E": [
81
  true,
82
- true,
83
  true,
84
  true,
85
  true,
@@ -102,7 +102,7 @@
102
  true,
103
  true,
104
  true,
105
- true,
106
  true
107
  ],
108
  "model.decoder.layers.0.self_attn.k_proj.lora_E": [
@@ -121,10 +121,10 @@
121
  ],
122
  "model.decoder.layers.0.self_attn.out_proj.lora_E": [
123
  false,
124
- true,
125
  false,
126
  false,
127
- true,
 
128
  true,
129
  false,
130
  false,
@@ -143,7 +143,7 @@
143
  false,
144
  false,
145
  false,
146
- true,
147
  false,
148
  false
149
  ],
@@ -151,14 +151,14 @@
151
  false,
152
  true,
153
  false,
154
- true,
155
  false,
156
  false,
157
- true,
158
  false,
159
  true,
160
  false,
161
  false,
 
 
162
  false
163
  ],
164
  "model.decoder.layers.1.encoder_attn.k_proj.lora_E": [
@@ -185,8 +185,8 @@
185
  false,
186
  false,
187
  false,
188
- true,
189
- true,
190
  false
191
  ],
192
  "model.decoder.layers.1.encoder_attn.q_proj.lora_E": [
@@ -210,10 +210,10 @@
210
  true,
211
  false,
212
  false,
213
- true,
214
- true,
215
  false,
216
- true,
 
 
217
  false,
218
  true
219
  ],
@@ -262,16 +262,16 @@
262
  "model.decoder.layers.1.self_attn.out_proj.lora_E": [
263
  true,
264
  true,
265
- true,
266
- true,
267
- true,
268
  true,
269
  true,
270
  false,
271
- true,
272
  false,
273
- true,
274
- true
 
 
 
275
  ],
276
  "model.decoder.layers.1.self_attn.q_proj.lora_E": [
277
  false,
@@ -289,17 +289,17 @@
289
  ],
290
  "model.decoder.layers.1.self_attn.v_proj.lora_E": [
291
  false,
292
- true,
293
  false,
294
  false,
295
  false,
296
  false,
297
  false,
298
- true,
299
- true,
300
- true,
301
- true,
302
- true
 
303
  ],
304
  "model.decoder.layers.10.encoder_attn.k_proj.lora_E": [
305
  false,
@@ -316,17 +316,17 @@
316
  false
317
  ],
318
  "model.decoder.layers.10.encoder_attn.out_proj.lora_E": [
319
- true,
320
  false,
321
- true,
322
  false,
323
- true,
324
- true,
325
  false,
326
  false,
327
  false,
328
  false,
329
- true,
 
 
 
 
330
  false
331
  ],
332
  "model.decoder.layers.10.encoder_attn.q_proj.lora_E": [
@@ -340,21 +340,21 @@
340
  false,
341
  false,
342
  false,
343
- true,
344
  false
345
  ],
346
  "model.decoder.layers.10.encoder_attn.v_proj.lora_E": [
347
  false,
348
- true,
349
- true,
350
- true,
351
- true,
352
  false,
353
  true,
354
  false,
 
355
  true,
356
  false,
357
  false,
 
 
358
  true
359
  ],
360
  "model.decoder.layers.10.fc1.lora_E": [
@@ -373,7 +373,7 @@
373
  ],
374
  "model.decoder.layers.10.fc2.lora_E": [
375
  true,
376
- true,
377
  true,
378
  true,
379
  true,
@@ -400,16 +400,16 @@
400
  false
401
  ],
402
  "model.decoder.layers.10.self_attn.out_proj.lora_E": [
403
- true,
404
- true,
405
  true,
406
  true,
407
  false,
 
 
408
  true,
409
  true,
410
  false,
411
  true,
412
- true,
413
  false,
414
  true
415
  ],
@@ -428,7 +428,7 @@
428
  false
429
  ],
430
  "model.decoder.layers.10.self_attn.v_proj.lora_E": [
431
- true,
432
  false,
433
  false,
434
  true,
@@ -458,11 +458,11 @@
458
  "model.decoder.layers.11.encoder_attn.out_proj.lora_E": [
459
  false,
460
  false,
461
- true,
462
  false,
463
  false,
464
  true,
465
- true,
466
  false,
467
  false,
468
  false,
@@ -484,14 +484,14 @@
484
  false
485
  ],
486
  "model.decoder.layers.11.encoder_attn.v_proj.lora_E": [
487
- true,
488
- true,
489
  false,
490
- true,
491
  false,
492
  false,
493
  true,
494
  false,
 
 
 
495
  true,
496
  true,
497
  false,
@@ -504,7 +504,7 @@
504
  true,
505
  true,
506
  true,
507
- true,
508
  true,
509
  true,
510
  true,
@@ -545,12 +545,12 @@
545
  false,
546
  true,
547
  false,
548
- true,
549
- true,
550
  false,
551
  false,
552
- true,
553
- true,
 
 
554
  true
555
  ],
556
  "model.decoder.layers.11.self_attn.q_proj.lora_E": [
@@ -569,11 +569,11 @@
569
  ],
570
  "model.decoder.layers.11.self_attn.v_proj.lora_E": [
571
  true,
572
- true,
573
  true,
574
  false,
575
  false,
576
- true,
577
  true,
578
  false,
579
  false,
@@ -596,17 +596,17 @@
596
  false
597
  ],
598
  "model.decoder.layers.12.encoder_attn.out_proj.lora_E": [
599
- true,
600
  false,
601
  false,
602
- true,
603
  false,
604
  false,
605
  false,
606
  false,
607
  false,
608
  false,
609
- true,
 
 
610
  false
611
  ],
612
  "model.decoder.layers.12.encoder_attn.q_proj.lora_E": [
@@ -628,7 +628,7 @@
628
  false,
629
  false,
630
  true,
631
- true,
632
  false,
633
  false,
634
  false,
@@ -656,7 +656,7 @@
656
  true,
657
  true,
658
  true,
659
- true,
660
  true,
661
  true,
662
  true,
@@ -674,7 +674,7 @@
674
  false,
675
  false,
676
  false,
677
- true,
678
  false,
679
  false,
680
  false
@@ -682,15 +682,15 @@
682
  "model.decoder.layers.12.self_attn.out_proj.lora_E": [
683
  true,
684
  false,
685
- true,
686
  true,
687
  false,
688
  false,
689
  false,
 
690
  true,
691
- true,
692
- true,
693
- true,
694
  false
695
  ],
696
  "model.decoder.layers.12.self_attn.q_proj.lora_E": [
@@ -710,7 +710,7 @@
710
  "model.decoder.layers.12.self_attn.v_proj.lora_E": [
711
  false,
712
  false,
713
- true,
714
  false,
715
  false,
716
  false,
@@ -719,7 +719,7 @@
719
  false,
720
  false,
721
  false,
722
- true
723
  ],
724
  "model.decoder.layers.13.encoder_attn.k_proj.lora_E": [
725
  false,
@@ -738,14 +738,14 @@
738
  "model.decoder.layers.13.encoder_attn.out_proj.lora_E": [
739
  false,
740
  true,
741
- true,
742
  true,
743
  false,
744
  false,
745
  false,
 
746
  true,
747
- true,
748
- true,
749
  true,
750
  true
751
  ],
@@ -766,8 +766,8 @@
766
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
767
  false,
768
  true,
769
- true,
770
- true,
771
  true,
772
  true,
773
  true,
@@ -809,7 +809,7 @@
809
  false,
810
  false,
811
  false,
812
- true,
813
  false,
814
  false,
815
  false,
@@ -820,14 +820,14 @@
820
  false
821
  ],
822
  "model.decoder.layers.13.self_attn.out_proj.lora_E": [
 
823
  false,
824
  true,
825
  true,
826
  true,
 
827
  true,
828
- true,
829
- true,
830
- true,
831
  true,
832
  true,
833
  true,
@@ -835,7 +835,7 @@
835
  ],
836
  "model.decoder.layers.13.self_attn.q_proj.lora_E": [
837
  false,
838
- true,
839
  false,
840
  false,
841
  false,
@@ -849,14 +849,14 @@
849
  ],
850
  "model.decoder.layers.13.self_attn.v_proj.lora_E": [
851
  false,
852
- true,
853
  false,
854
  false,
855
  false,
856
  false,
857
  false,
858
  false,
859
- true,
 
860
  false,
861
  false,
862
  true
@@ -940,7 +940,7 @@
940
  true,
941
  true,
942
  true,
943
- true,
944
  true,
945
  true,
946
  true
@@ -949,7 +949,7 @@
949
  false,
950
  false,
951
  false,
952
- true,
953
  false,
954
  false,
955
  false,
@@ -962,15 +962,15 @@
962
  "model.decoder.layers.14.self_attn.out_proj.lora_E": [
963
  false,
964
  true,
965
- true,
966
- true,
967
- true,
968
  false,
969
  true,
 
 
970
  true,
971
  true,
972
  true,
973
- true,
 
974
  true
975
  ],
976
  "model.decoder.layers.14.self_attn.q_proj.lora_E": [
@@ -1017,15 +1017,15 @@
1017
  ],
1018
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1019
  true,
 
 
 
1020
  true,
 
1021
  true,
1022
  true,
1023
  true,
1024
- true,
1025
- true,
1026
- true,
1027
- true,
1028
- true,
1029
  true,
1030
  true
1031
  ],
@@ -1033,7 +1033,7 @@
1033
  false,
1034
  false,
1035
  false,
1036
- true,
1037
  false,
1038
  false,
1039
  false,
@@ -1108,7 +1108,7 @@
1108
  true,
1109
  true,
1110
  false,
1111
- true,
1112
  false,
1113
  false,
1114
  true
@@ -1135,8 +1135,8 @@
1135
  true,
1136
  false,
1137
  false,
1138
- true,
1139
- true,
1140
  true,
1141
  true,
1142
  false
@@ -1156,18 +1156,18 @@
1156
  false
1157
  ],
1158
  "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
1159
- true,
1160
- true,
1161
  true,
1162
  false,
1163
  false,
1164
- true,
1165
- true,
1166
  false,
1167
  true,
1168
  true,
 
 
 
1169
  true,
1170
- true
1171
  ],
1172
  "model.decoder.layers.16.encoder_attn.q_proj.lora_E": [
1173
  false,
@@ -1221,7 +1221,7 @@
1221
  true,
1222
  true,
1223
  true,
1224
- true,
1225
  true,
1226
  true
1227
  ],
@@ -1230,7 +1230,7 @@
1230
  false,
1231
  false,
1232
  false,
1233
- true,
1234
  false,
1235
  false,
1236
  false,
@@ -1272,7 +1272,7 @@
1272
  true,
1273
  true,
1274
  true,
1275
- true,
1276
  true,
1277
  true,
1278
  true,
@@ -1297,17 +1297,17 @@
1297
  ],
1298
  "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
1299
  true,
 
1300
  true,
1301
  true,
 
 
 
 
 
 
1302
  true,
1303
- true,
1304
- true,
1305
- true,
1306
- true,
1307
- true,
1308
- true,
1309
- true,
1310
- true
1311
  ],
1312
  "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
1313
  false,
@@ -1329,7 +1329,7 @@
1329
  true,
1330
  true,
1331
  true,
1332
- true,
1333
  true,
1334
  true,
1335
  true,
@@ -1357,10 +1357,10 @@
1357
  true,
1358
  false,
1359
  true,
 
1360
  true,
1361
  true,
1362
- true,
1363
- true,
1364
  true,
1365
  true,
1366
  true
@@ -1370,9 +1370,9 @@
1370
  false,
1371
  false,
1372
  false,
1373
- true,
1374
  false,
1375
- true,
 
1376
  false,
1377
  false,
1378
  true,
@@ -1386,11 +1386,11 @@
1386
  false,
1387
  false,
1388
  true,
1389
- true,
1390
  false,
1391
- true,
1392
  false,
1393
  true,
 
 
1394
  true
1395
  ],
1396
  "model.decoder.layers.17.self_attn.q_proj.lora_E": [
@@ -1437,27 +1437,27 @@
1437
  ],
1438
  "model.decoder.layers.18.encoder_attn.out_proj.lora_E": [
1439
  false,
1440
- true,
1441
  false,
1442
- true,
1443
  false,
1444
  true,
1445
  false,
1446
- true,
1447
  false,
1448
  true,
1449
- true,
 
 
1450
  true
1451
  ],
1452
  "model.decoder.layers.18.encoder_attn.q_proj.lora_E": [
1453
  false,
1454
  false,
1455
  false,
1456
- true,
1457
  false,
1458
  false,
1459
  false,
1460
- true,
 
1461
  false,
1462
  false,
1463
  false,
@@ -1495,15 +1495,15 @@
1495
  true,
1496
  true,
1497
  true,
1498
- true,
1499
  false,
1500
- true,
 
1501
  true,
1502
  true,
1503
  true,
1504
  true,
1505
  false,
1506
- true
1507
  ],
1508
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1509
  false,
@@ -1527,14 +1527,13 @@
1527
  true,
1528
  true,
1529
  true,
 
1530
  true,
1531
- true,
1532
- true,
1533
  true,
1534
  true
1535
  ],
1536
  "model.decoder.layers.18.self_attn.q_proj.lora_E": [
1537
- true,
1538
  false,
1539
  false,
1540
  false,
@@ -1545,14 +1544,15 @@
1545
  false,
1546
  false,
1547
  false,
1548
- true
 
1549
  ],
1550
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1551
  true,
 
1552
  true,
1553
- true,
1554
- true,
1555
- true,
1556
  true,
1557
  false,
1558
  false,
@@ -1576,17 +1576,17 @@
1576
  false
1577
  ],
1578
  "model.decoder.layers.19.encoder_attn.out_proj.lora_E": [
 
 
1579
  true,
 
 
 
 
1580
  true,
1581
- true,
1582
- true,
1583
- true,
1584
- true,
1585
- true,
1586
- true,
1587
- true,
1588
- true,
1589
- true,
1590
  true
1591
  ],
1592
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
@@ -1608,13 +1608,13 @@
1608
  true,
1609
  false,
1610
  false,
1611
- false,
1612
- false,
1613
  true,
1614
  false,
1615
  true,
1616
  false,
1617
  false,
 
 
1618
  true
1619
  ],
1620
  "model.decoder.layers.19.fc1.lora_E": [
@@ -1647,14 +1647,14 @@
1647
  ],
1648
  "model.decoder.layers.19.self_attn.k_proj.lora_E": [
1649
  false,
1650
- true,
1651
  false,
1652
  false,
1653
- true,
1654
- true,
1655
  false,
1656
  true,
1657
- true,
 
 
 
1658
  false,
1659
  true,
1660
  false
@@ -1663,7 +1663,7 @@
1663
  true,
1664
  false,
1665
  false,
1666
- true,
1667
  false,
1668
  true,
1669
  false,
@@ -1684,7 +1684,7 @@
1684
  false,
1685
  false,
1686
  false,
1687
- true,
1688
  false
1689
  ],
1690
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
@@ -1718,14 +1718,14 @@
1718
  "model.decoder.layers.2.encoder_attn.out_proj.lora_E": [
1719
  false,
1720
  false,
1721
- true,
1722
- true,
1723
  false,
1724
  false,
1725
  false,
1726
- true,
1727
  false,
1728
- true,
 
 
 
1729
  true,
1730
  false
1731
  ],
@@ -1745,17 +1745,17 @@
1745
  ],
1746
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1747
  false,
1748
- true,
1749
- true,
1750
- true,
1751
- true,
1752
- true,
1753
  false,
1754
  true,
1755
  false,
1756
  true,
 
 
 
1757
  true,
1758
- true
 
1759
  ],
1760
  "model.decoder.layers.2.fc1.lora_E": [
1761
  true,
@@ -1800,18 +1800,18 @@
1800
  false
1801
  ],
1802
  "model.decoder.layers.2.self_attn.out_proj.lora_E": [
1803
- true,
1804
- true,
1805
  true,
1806
  false,
 
 
1807
  true,
 
 
 
1808
  true,
1809
  true,
1810
  true,
1811
- true,
1812
- true,
1813
- true,
1814
- true
1815
  ],
1816
  "model.decoder.layers.2.self_attn.q_proj.lora_E": [
1817
  false,
@@ -1835,7 +1835,7 @@
1835
  false,
1836
  false,
1837
  false,
1838
- true,
1839
  false,
1840
  false,
1841
  false,
@@ -1856,7 +1856,9 @@
1856
  false
1857
  ],
1858
  "model.decoder.layers.20.encoder_attn.out_proj.lora_E": [
 
1859
  true,
 
1860
  true,
1861
  true,
1862
  true,
@@ -1865,9 +1867,7 @@
1865
  true,
1866
  true,
1867
  true,
1868
- true,
1869
- true,
1870
- true
1871
  ],
1872
  "model.decoder.layers.20.encoder_attn.q_proj.lora_E": [
1873
  false,
@@ -1879,7 +1879,7 @@
1879
  false,
1880
  false,
1881
  false,
1882
- true,
1883
  false,
1884
  false
1885
  ],
@@ -1890,7 +1890,7 @@
1890
  true,
1891
  true,
1892
  true,
1893
- true,
1894
  true,
1895
  true,
1896
  true,
@@ -1926,7 +1926,7 @@
1926
  true
1927
  ],
1928
  "model.decoder.layers.20.self_attn.k_proj.lora_E": [
1929
- true,
1930
  true,
1931
  true,
1932
  true,
@@ -1942,14 +1942,14 @@
1942
  "model.decoder.layers.20.self_attn.out_proj.lora_E": [
1943
  true,
1944
  false,
1945
- true,
1946
  true,
1947
  false,
1948
  false,
1949
  false,
1950
  false,
1951
  false,
1952
- true,
1953
  true,
1954
  true
1955
  ],
@@ -1972,13 +1972,13 @@
1972
  false,
1973
  false,
1974
  false,
1975
- true,
1976
- true,
1977
  false,
1978
- true,
1979
  false,
1980
  false,
1981
  true,
 
 
 
1982
  true
1983
  ],
1984
  "model.decoder.layers.21.encoder_attn.k_proj.lora_E": [
@@ -1996,13 +1996,13 @@
1996
  false
1997
  ],
1998
  "model.decoder.layers.21.encoder_attn.out_proj.lora_E": [
1999
- true,
2000
- true,
2001
- true,
2002
- true,
2003
  true,
2004
  false,
2005
  true,
 
 
2006
  true,
2007
  true,
2008
  true,
@@ -2053,7 +2053,7 @@
2053
  ],
2054
  "model.decoder.layers.21.fc2.lora_E": [
2055
  true,
2056
- true,
2057
  true,
2058
  true,
2059
  true,
@@ -2068,11 +2068,11 @@
2068
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2069
  true,
2070
  true,
 
2071
  true,
2072
  true,
2073
  true,
2074
- true,
2075
- true,
2076
  false,
2077
  true,
2078
  true,
@@ -2085,8 +2085,8 @@
2085
  true,
2086
  true,
2087
  false,
2088
- true,
2089
- true,
2090
  true,
2091
  true,
2092
  false,
@@ -2094,16 +2094,16 @@
2094
  false
2095
  ],
2096
  "model.decoder.layers.21.self_attn.q_proj.lora_E": [
2097
- true,
2098
  false,
2099
  false,
2100
- true,
2101
- true,
 
2102
  true,
2103
  true,
2104
  false,
2105
  true,
2106
- true,
2107
  false,
2108
  false
2109
  ],
@@ -2114,11 +2114,11 @@
2114
  true,
2115
  true,
2116
  true,
2117
- true,
2118
- true,
2119
  false,
2120
  true,
 
2121
  true,
 
2122
  true
2123
  ],
2124
  "model.decoder.layers.22.encoder_attn.k_proj.lora_E": [
@@ -2144,7 +2144,7 @@
2144
  true,
2145
  true,
2146
  true,
2147
- true,
2148
  true,
2149
  true,
2150
  true
@@ -2206,30 +2206,30 @@
2206
  false
2207
  ],
2208
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2209
- true,
2210
  true,
2211
  true,
2212
  false,
2213
- true,
2214
  false,
2215
- true,
2216
  false,
2217
  false,
2218
  false,
2219
  false,
2220
- true
 
 
2221
  ],
2222
  "model.decoder.layers.22.self_attn.out_proj.lora_E": [
2223
  false,
2224
- true,
2225
  false,
2226
- true,
2227
  false,
2228
  true,
 
 
2229
  true,
2230
  true,
2231
  true,
2232
- true,
2233
  true,
2234
  false
2235
  ],
@@ -2253,13 +2253,13 @@
2253
  false,
2254
  true,
2255
  true,
 
2256
  true,
2257
  true,
2258
  true,
2259
  true,
2260
  true,
2261
- true,
2262
- true
2263
  ],
2264
  "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
2265
  false,
@@ -2346,17 +2346,17 @@
2346
  true
2347
  ],
2348
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
2349
- true,
2350
- true,
2351
  false,
2352
  true,
2353
- true,
2354
  false,
2355
  true,
 
 
2356
  true,
2357
- true,
2358
- true,
2359
- true,
2360
  true
2361
  ],
2362
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
@@ -2364,7 +2364,7 @@
2364
  true,
2365
  true,
2366
  true,
2367
- true,
2368
  false,
2369
  false,
2370
  true,
@@ -2374,7 +2374,7 @@
2374
  false
2375
  ],
2376
  "model.decoder.layers.23.self_attn.q_proj.lora_E": [
2377
- true,
2378
  false,
2379
  false,
2380
  false,
@@ -2395,14 +2395,14 @@
2395
  true,
2396
  false,
2397
  true,
2398
- true,
2399
- true,
2400
  true,
2401
  false,
 
2402
  true
2403
  ],
2404
  "model.decoder.layers.24.encoder_attn.k_proj.lora_E": [
2405
- true,
2406
  false,
2407
  false,
2408
  false,
@@ -2438,8 +2438,8 @@
2438
  false,
2439
  false,
2440
  false,
2441
- true,
2442
- true,
2443
  false,
2444
  false
2445
  ],
@@ -2455,13 +2455,13 @@
2455
  true,
2456
  true,
2457
  true,
2458
- true
2459
  ],
2460
  "model.decoder.layers.24.fc1.lora_E": [
2461
  true,
2462
  true,
2463
  true,
2464
- true,
2465
  true,
2466
  true,
2467
  true,
@@ -2483,7 +2483,7 @@
2483
  true,
2484
  true,
2485
  false,
2486
- true
2487
  ],
2488
  "model.decoder.layers.24.self_attn.k_proj.lora_E": [
2489
  true,
@@ -2500,44 +2500,44 @@
2500
  true
2501
  ],
2502
  "model.decoder.layers.24.self_attn.out_proj.lora_E": [
2503
- true,
2504
- true,
2505
  true,
2506
  false,
2507
- true,
2508
- true,
2509
  false,
2510
  true,
2511
  true,
2512
  false,
2513
  true,
2514
- true
 
 
 
2515
  ],
2516
  "model.decoder.layers.24.self_attn.q_proj.lora_E": [
2517
  false,
2518
- true,
2519
- true,
2520
  false,
2521
- true,
2522
- true,
2523
- true,
2524
  false,
2525
  false,
2526
- true,
 
 
 
 
 
2527
  false,
2528
  false
2529
  ],
2530
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2531
  true,
2532
  true,
2533
- true,
2534
- true,
2535
  true,
2536
  true,
2537
  true,
2538
  false,
2539
- true,
2540
- true,
2541
  true,
2542
  true
2543
  ],
@@ -2561,7 +2561,7 @@
2561
  true,
2562
  true,
2563
  true,
2564
- true,
2565
  true,
2566
  true,
2567
  true,
@@ -2572,15 +2572,15 @@
2572
  "model.decoder.layers.25.encoder_attn.q_proj.lora_E": [
2573
  false,
2574
  false,
2575
- true,
2576
  false,
2577
  false,
2578
  false,
2579
  false,
2580
- true,
2581
  false,
2582
  false,
2583
- true,
 
 
2584
  false
2585
  ],
2586
  "model.decoder.layers.25.encoder_attn.v_proj.lora_E": [
@@ -2630,42 +2630,42 @@
2630
  true,
2631
  true,
2632
  true,
 
2633
  true,
2634
  true,
2635
  true,
2636
  true,
2637
  true,
2638
  true,
2639
- true,
2640
- true
2641
  ],
2642
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2643
  false,
2644
  false,
2645
- true,
2646
  false,
2647
  false,
2648
  true,
2649
- true,
2650
- true,
2651
  true,
2652
  true,
2653
  false,
2654
  false
2655
  ],
2656
  "model.decoder.layers.25.self_attn.q_proj.lora_E": [
2657
- true,
2658
  false,
2659
- true,
2660
  false,
2661
  false,
2662
  false,
2663
  false,
2664
- true,
2665
  false,
2666
  false,
2667
- true,
2668
- true
 
 
 
2669
  ],
2670
  "model.decoder.layers.25.self_attn.v_proj.lora_E": [
2671
  false,
@@ -2702,7 +2702,7 @@
2702
  true,
2703
  true,
2704
  true,
2705
- true,
2706
  true,
2707
  true,
2708
  true,
@@ -2715,8 +2715,8 @@
2715
  false,
2716
  false,
2717
  false,
2718
- true,
2719
- true,
2720
  false,
2721
  false,
2722
  false,
@@ -2760,7 +2760,7 @@
2760
  true,
2761
  false,
2762
  false,
2763
- true,
2764
  false,
2765
  true,
2766
  false
@@ -2768,21 +2768,21 @@
2768
  "model.decoder.layers.26.self_attn.k_proj.lora_E": [
2769
  true,
2770
  true,
2771
- true,
2772
- true,
2773
  true,
2774
  false,
2775
  false,
 
 
2776
  true,
2777
  true,
2778
- true,
2779
- true,
2780
- true
2781
  ],
2782
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2783
  false,
2784
  false,
2785
- true,
2786
  true,
2787
  false,
2788
  true,
@@ -2798,13 +2798,13 @@
2798
  false,
2799
  true,
2800
  false,
2801
- true,
2802
  false,
2803
  false,
2804
  false,
2805
- true,
2806
  false,
2807
- true,
 
 
2808
  true
2809
  ],
2810
  "model.decoder.layers.26.self_attn.v_proj.lora_E": [
@@ -2815,7 +2815,7 @@
2815
  true,
2816
  false,
2817
  false,
2818
- true,
2819
  true,
2820
  true,
2821
  false,
@@ -2841,12 +2841,12 @@
2841
  true,
2842
  true,
2843
  true,
 
2844
  true,
2845
  true,
2846
  true,
2847
  true,
2848
- true,
2849
- true,
2850
  true
2851
  ],
2852
  "model.decoder.layers.27.encoder_attn.q_proj.lora_E": [
@@ -2868,7 +2868,7 @@
2868
  true,
2869
  true,
2870
  true,
2871
- true,
2872
  true,
2873
  true,
2874
  true,
@@ -2892,7 +2892,7 @@
2892
  true
2893
  ],
2894
  "model.decoder.layers.27.fc2.lora_E": [
2895
- true,
2896
  false,
2897
  true,
2898
  true,
@@ -2906,15 +2906,15 @@
2906
  false
2907
  ],
2908
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
2909
- true,
2910
- true,
2911
- true,
2912
  true,
2913
  true,
2914
  true,
2915
  false,
 
 
 
2916
  true,
2917
- true,
2918
  true,
2919
  true,
2920
  true
@@ -2924,14 +2924,14 @@
2924
  true,
2925
  true,
2926
  false,
2927
- true,
2928
- true,
2929
  false,
2930
  false,
2931
- true,
2932
  false,
2933
  false,
2934
- true
 
 
 
2935
  ],
2936
  "model.decoder.layers.27.self_attn.q_proj.lora_E": [
2937
  true,
@@ -2940,20 +2940,20 @@
2940
  false,
2941
  false,
2942
  false,
2943
- true,
2944
  false,
2945
  false,
2946
  false,
2947
- true,
 
2948
  false
2949
  ],
2950
  "model.decoder.layers.27.self_attn.v_proj.lora_E": [
2951
- false,
2952
  true,
2953
  true,
2954
  false,
2955
  false,
2956
  false,
 
2957
  true,
2958
  true,
2959
  false,
@@ -2963,7 +2963,7 @@
2963
  ],
2964
  "model.decoder.layers.28.encoder_attn.k_proj.lora_E": [
2965
  false,
2966
- true,
2967
  false,
2968
  false,
2969
  false,
@@ -2981,7 +2981,7 @@
2981
  true,
2982
  true,
2983
  true,
2984
- true,
2985
  true,
2986
  true,
2987
  true,
@@ -3032,9 +3032,9 @@
3032
  true
3033
  ],
3034
  "model.decoder.layers.28.fc2.lora_E": [
3035
- true,
3036
- true,
3037
- true,
3038
  true,
3039
  true,
3040
  true,
@@ -3046,10 +3046,10 @@
3046
  true
3047
  ],
3048
  "model.decoder.layers.28.self_attn.k_proj.lora_E": [
 
3049
  true,
3050
  true,
3051
- true,
3052
- true,
3053
  true,
3054
  false,
3055
  true,
@@ -3057,13 +3057,13 @@
3057
  true,
3058
  false,
3059
  true,
3060
- true
3061
  ],
3062
  "model.decoder.layers.28.self_attn.out_proj.lora_E": [
3063
  false,
3064
- true,
3065
  false,
3066
- true,
 
3067
  true,
3068
  true,
3069
  true,
@@ -3071,7 +3071,7 @@
3071
  true,
3072
  false,
3073
  false,
3074
- true
3075
  ],
3076
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3077
  false,
@@ -3090,13 +3090,13 @@
3090
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3091
  true,
3092
  false,
3093
- true,
3094
- true,
3095
- true,
3096
  true,
3097
  false,
3098
  true,
3099
  false,
 
 
3100
  true,
3101
  false,
3102
  true
@@ -3119,14 +3119,14 @@
3119
  true,
3120
  true,
3121
  true,
 
 
 
3122
  true,
3123
- true,
3124
- true,
3125
- true,
3126
- true,
3127
- true,
3128
- true,
3129
- true,
3130
  true
3131
  ],
3132
  "model.decoder.layers.29.encoder_attn.q_proj.lora_E": [
@@ -3138,7 +3138,7 @@
3138
  false,
3139
  false,
3140
  false,
3141
- true,
3142
  false,
3143
  false,
3144
  false
@@ -3172,12 +3172,12 @@
3172
  true
3173
  ],
3174
  "model.decoder.layers.29.fc2.lora_E": [
 
3175
  true,
3176
  true,
3177
  true,
3178
  true,
3179
- true,
3180
- true,
3181
  true,
3182
  true,
3183
  true,
@@ -3186,17 +3186,17 @@
3186
  true
3187
  ],
3188
  "model.decoder.layers.29.self_attn.k_proj.lora_E": [
3189
- true,
3190
- true,
3191
  false,
3192
  false,
3193
  false,
3194
- true,
3195
- true,
3196
  false,
3197
  false,
3198
  true,
3199
  true,
 
 
 
 
3200
  false
3201
  ],
3202
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
@@ -3205,7 +3205,7 @@
3205
  true,
3206
  false,
3207
  false,
3208
- true,
3209
  false,
3210
  false,
3211
  false,
@@ -3215,8 +3215,8 @@
3215
  ],
3216
  "model.decoder.layers.29.self_attn.q_proj.lora_E": [
3217
  false,
3218
- true,
3219
- true,
3220
  false,
3221
  false,
3222
  false,
@@ -3239,7 +3239,7 @@
3239
  false,
3240
  false,
3241
  false,
3242
- true
3243
  ],
3244
  "model.decoder.layers.3.encoder_attn.k_proj.lora_E": [
3245
  false,
@@ -3258,16 +3258,16 @@
3258
  "model.decoder.layers.3.encoder_attn.out_proj.lora_E": [
3259
  true,
3260
  true,
 
3261
  true,
 
 
3262
  true,
3263
  true,
3264
  true,
 
3265
  true,
3266
- true,
3267
- true,
3268
- true,
3269
- true,
3270
- true
3271
  ],
3272
  "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
3273
  false,
@@ -3287,13 +3287,13 @@
3287
  false,
3288
  false,
3289
  true,
 
 
 
 
 
3290
  true,
3291
- true,
3292
- true,
3293
- true,
3294
- true,
3295
- true,
3296
- true,
3297
  true,
3298
  false
3299
  ],
@@ -3348,10 +3348,10 @@
3348
  false,
3349
  false,
3350
  false,
3351
- true,
3352
- true,
3353
  false,
3354
- true
 
 
3355
  ],
3356
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
3357
  false,
@@ -3368,18 +3368,18 @@
3368
  false
3369
  ],
3370
  "model.decoder.layers.3.self_attn.v_proj.lora_E": [
3371
- true,
3372
  false,
3373
- true,
3374
- true,
3375
- true,
3376
  false,
3377
- true,
 
 
 
 
3378
  false,
3379
  false,
3380
  true,
3381
  true,
3382
- true
3383
  ],
3384
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
3385
  false,
@@ -3396,18 +3396,18 @@
3396
  false
3397
  ],
3398
  "model.decoder.layers.30.encoder_attn.out_proj.lora_E": [
3399
- true,
3400
  true,
3401
  true,
3402
  false,
 
 
 
3403
  true,
3404
  true,
3405
  true,
3406
  true,
3407
  true,
3408
- true,
3409
- true,
3410
- true
3411
  ],
3412
  "model.decoder.layers.30.encoder_attn.q_proj.lora_E": [
3413
  false,
@@ -3431,7 +3431,7 @@
3431
  true,
3432
  true,
3433
  true,
3434
- true,
3435
  true,
3436
  true,
3437
  true,
@@ -3474,14 +3474,14 @@
3474
  true,
3475
  false,
3476
  true,
3477
- true,
3478
- true,
3479
  true,
3480
  true
3481
  ],
3482
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3483
  false,
3484
- true,
3485
  false,
3486
  false,
3487
  false,
@@ -3501,22 +3501,22 @@
3501
  false,
3502
  false,
3503
  false,
3504
- true,
3505
- true,
3506
  false,
3507
  false,
3508
  false
3509
  ],
3510
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3511
  false,
3512
- true,
3513
  true,
3514
  false,
3515
  false,
3516
  false,
3517
- true,
3518
  false,
3519
- true,
 
3520
  true,
3521
  false,
3522
  true
@@ -3539,13 +3539,13 @@
3539
  false,
3540
  false,
3541
  false,
3542
- true,
3543
  false,
3544
  false,
3545
  false,
3546
  false,
3547
  false,
3548
- true,
 
3549
  false,
3550
  false
3551
  ],
@@ -3565,14 +3565,14 @@
3565
  ],
3566
  "model.decoder.layers.31.encoder_attn.v_proj.lora_E": [
3567
  false,
3568
- true,
3569
- true,
3570
- true,
3571
- true,
3572
  false,
3573
  true,
3574
- true,
3575
- true,
 
 
3576
  false,
3577
  true,
3578
  true
@@ -3580,7 +3580,7 @@
3580
  "model.decoder.layers.31.fc1.lora_E": [
3581
  false,
3582
  true,
3583
- true,
3584
  false,
3585
  false,
3586
  false,
@@ -3622,7 +3622,7 @@
3622
  "model.decoder.layers.31.self_attn.out_proj.lora_E": [
3623
  false,
3624
  false,
3625
- true,
3626
  false,
3627
  false,
3628
  false,
@@ -3634,7 +3634,7 @@
3634
  false
3635
  ],
3636
  "model.decoder.layers.31.self_attn.q_proj.lora_E": [
3637
- true,
3638
  false,
3639
  false,
3640
  false,
@@ -3650,11 +3650,11 @@
3650
  "model.decoder.layers.31.self_attn.v_proj.lora_E": [
3651
  false,
3652
  false,
3653
- true,
3654
  false,
3655
  false,
3656
- true,
3657
- true,
 
3658
  false,
3659
  false,
3660
  false,
@@ -3663,7 +3663,7 @@
3663
  ],
3664
  "model.decoder.layers.4.encoder_attn.k_proj.lora_E": [
3665
  false,
3666
- true,
3667
  false,
3668
  false,
3669
  false,
@@ -3678,16 +3678,16 @@
3678
  "model.decoder.layers.4.encoder_attn.out_proj.lora_E": [
3679
  true,
3680
  false,
3681
- true,
3682
- true,
3683
- true,
3684
- true,
3685
- true,
3686
  false,
3687
  true,
3688
  false,
 
 
 
3689
  true,
3690
- true
3691
  ],
3692
  "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
3693
  false,
@@ -3707,12 +3707,12 @@
3707
  true,
3708
  true,
3709
  false,
3710
- true,
3711
  false,
3712
  false,
3713
  true,
3714
  true,
3715
- true,
3716
  true,
3717
  true,
3718
  true
@@ -3792,9 +3792,9 @@
3792
  true,
3793
  true,
3794
  false,
3795
- true,
3796
- true,
3797
- true,
3798
  false,
3799
  true,
3800
  false,
@@ -3817,14 +3817,14 @@
3817
  ],
3818
  "model.decoder.layers.5.encoder_attn.out_proj.lora_E": [
3819
  false,
3820
- true,
3821
  false,
3822
  false,
3823
- true,
3824
- true,
3825
- true,
3826
  false,
3827
- true,
 
 
 
 
3828
  false,
3829
  false,
3830
  false
@@ -3844,7 +3844,7 @@
3844
  false
3845
  ],
3846
  "model.decoder.layers.5.encoder_attn.v_proj.lora_E": [
3847
- true,
3848
  false,
3849
  true,
3850
  true,
@@ -3901,7 +3901,6 @@
3901
  ],
3902
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3903
  false,
3904
- true,
3905
  false,
3906
  false,
3907
  false,
@@ -3909,7 +3908,8 @@
3909
  false,
3910
  false,
3911
  false,
3912
- true,
 
3913
  false,
3914
  false
3915
  ],
@@ -3989,10 +3989,10 @@
3989
  false,
3990
  false,
3991
  false,
3992
- true,
3993
- true,
3994
  false,
3995
- true,
 
 
3996
  false,
3997
  false,
3998
  false
@@ -4001,7 +4001,7 @@
4001
  true,
4002
  true,
4003
  true,
4004
- true,
4005
  true,
4006
  true,
4007
  true,
@@ -4048,7 +4048,7 @@
4048
  false,
4049
  false,
4050
  false,
4051
- false,
4052
  false,
4053
  false,
4054
  false
@@ -4069,14 +4069,14 @@
4069
  ],
4070
  "model.decoder.layers.6.self_attn.v_proj.lora_E": [
4071
  false,
4072
- true,
4073
  false,
4074
  false,
4075
  false,
4076
- true,
4077
  false,
4078
  false,
4079
- true,
 
 
4080
  true,
4081
  false,
4082
  true
@@ -4129,7 +4129,7 @@
4129
  false,
4130
  false,
4131
  false,
4132
- true,
4133
  false,
4134
  false,
4135
  false,
@@ -4212,7 +4212,7 @@
4212
  false,
4213
  true,
4214
  true,
4215
- true,
4216
  true,
4217
  false,
4218
  false,
@@ -4246,7 +4246,7 @@
4246
  false,
4247
  false,
4248
  false,
4249
- true,
4250
  false
4251
  ],
4252
  "model.decoder.layers.8.encoder_attn.q_proj.lora_E": [
@@ -4267,7 +4267,7 @@
4267
  false,
4268
  false,
4269
  false,
4270
- true,
4271
  false,
4272
  false,
4273
  false,
@@ -4287,13 +4287,13 @@
4287
  true,
4288
  true,
4289
  true,
4290
- true,
4291
  true,
4292
  true
4293
  ],
4294
  "model.decoder.layers.8.fc2.lora_E": [
4295
  true,
4296
- true,
4297
  true,
4298
  true,
4299
  true,
@@ -4331,7 +4331,7 @@
4331
  false,
4332
  false,
4333
  false,
4334
- true
4335
  ],
4336
  "model.decoder.layers.8.self_attn.q_proj.lora_E": [
4337
  false,
@@ -4349,7 +4349,7 @@
4349
  ],
4350
  "model.decoder.layers.8.self_attn.v_proj.lora_E": [
4351
  false,
4352
- true,
4353
  false,
4354
  false,
4355
  false,
@@ -4358,7 +4358,7 @@
4358
  false,
4359
  false,
4360
  true,
4361
- true,
4362
  false
4363
  ],
4364
  "model.decoder.layers.9.encoder_attn.k_proj.lora_E": [
@@ -4408,14 +4408,14 @@
4408
  false,
4409
  false,
4410
  false,
4411
- true,
4412
  false,
4413
  false,
4414
  false,
4415
  false,
4416
- true,
4417
- true,
4418
- true
 
4419
  ],
4420
  "model.decoder.layers.9.fc1.lora_E": [
4421
  true,
@@ -4428,7 +4428,7 @@
4428
  true,
4429
  true,
4430
  true,
4431
- true,
4432
  true
4433
  ],
4434
  "model.decoder.layers.9.fc2.lora_E": [
@@ -4437,7 +4437,7 @@
4437
  true,
4438
  true,
4439
  true,
4440
- true,
4441
  true,
4442
  true,
4443
  true,
@@ -4460,17 +4460,17 @@
4460
  false
4461
  ],
4462
  "model.decoder.layers.9.self_attn.out_proj.lora_E": [
4463
- true,
4464
  false,
4465
- true,
4466
  false,
4467
  false,
4468
- true,
4469
  false,
4470
  false,
4471
  false,
4472
  false,
4473
- true,
 
 
 
4474
  false
4475
  ],
4476
  "model.decoder.layers.9.self_attn.q_proj.lora_E": [
@@ -4488,7 +4488,7 @@
4488
  false
4489
  ],
4490
  "model.decoder.layers.9.self_attn.v_proj.lora_E": [
4491
- true,
4492
  false,
4493
  false,
4494
  false,
@@ -4498,13 +4498,13 @@
4498
  false,
4499
  true,
4500
  false,
4501
- true,
4502
  false
4503
  ],
4504
  "model.encoder.layers.0.fc1.lora_E": [
4505
  false,
4506
- true,
4507
- true,
4508
  false,
4509
  false,
4510
  false,
@@ -4520,8 +4520,8 @@
4520
  false,
4521
  false,
4522
  false,
4523
- true,
4524
- true,
4525
  false,
4526
  false,
4527
  false,
@@ -4544,7 +4544,7 @@
4544
  false
4545
  ],
4546
  "model.encoder.layers.0.self_attn.out_proj.lora_E": [
4547
- true,
4548
  false,
4549
  false,
4550
  true,
@@ -4552,7 +4552,7 @@
4552
  false,
4553
  true,
4554
  true,
4555
- true,
4556
  false,
4557
  false,
4558
  false
@@ -4575,9 +4575,9 @@
4575
  false,
4576
  false,
4577
  false,
4578
- true,
4579
  false,
4580
- true,
 
4581
  false,
4582
  false,
4583
  false,
@@ -4593,11 +4593,11 @@
4593
  false,
4594
  false,
4595
  false,
4596
- true,
4597
  false,
4598
  false,
4599
  false,
4600
- true
 
4601
  ],
4602
  "model.encoder.layers.1.fc2.lora_E": [
4603
  false,
@@ -4609,9 +4609,9 @@
4609
  false,
4610
  false,
4611
  false,
 
4612
  true,
4613
- true,
4614
- true
4615
  ],
4616
  "model.encoder.layers.1.self_attn.k_proj.lora_E": [
4617
  false,
@@ -4635,9 +4635,9 @@
4635
  false,
4636
  false,
4637
  false,
4638
- true,
4639
  false,
4640
- true,
 
4641
  false,
4642
  false
4643
  ],
@@ -4680,7 +4680,7 @@
4680
  false,
4681
  false,
4682
  false,
4683
- true,
4684
  false
4685
  ],
4686
  "model.encoder.layers.10.fc2.lora_E": [
@@ -4689,12 +4689,12 @@
4689
  false,
4690
  false,
4691
  false,
4692
- true,
4693
  false,
4694
  false,
4695
- true,
4696
  false,
4697
  true,
 
 
4698
  false
4699
  ],
4700
  "model.encoder.layers.10.self_attn.k_proj.lora_E": [
@@ -4715,7 +4715,7 @@
4715
  false,
4716
  false,
4717
  false,
4718
- true,
4719
  false,
4720
  false,
4721
  false,
@@ -4757,7 +4757,7 @@
4757
  false,
4758
  false,
4759
  true,
4760
- true,
4761
  false,
4762
  true,
4763
  false,
@@ -4769,16 +4769,16 @@
4769
  ],
4770
  "model.encoder.layers.11.fc2.lora_E": [
4771
  false,
4772
- true,
4773
- true,
4774
  true,
4775
  true,
4776
  true,
4777
  false,
4778
  false,
4779
- true,
4780
  false,
4781
  true,
 
 
4782
  false
4783
  ],
4784
  "model.encoder.layers.11.self_attn.k_proj.lora_E": [
@@ -4800,9 +4800,9 @@
4800
  false,
4801
  true,
4802
  false,
4803
- true,
4804
  false,
4805
- true,
 
4806
  false,
4807
  false,
4808
  false,
@@ -4832,7 +4832,7 @@
4832
  false,
4833
  false,
4834
  false,
4835
- true,
4836
  false,
4837
  false,
4838
  false
@@ -4840,27 +4840,27 @@
4840
  "model.encoder.layers.12.fc1.lora_E": [
4841
  false,
4842
  false,
4843
- true,
4844
- true,
4845
  false,
4846
  true,
 
4847
  true,
4848
  true,
4849
  true,
4850
- true,
 
4851
  false,
4852
  true
4853
  ],
4854
  "model.encoder.layers.12.fc2.lora_E": [
4855
  true,
4856
  false,
4857
- true,
4858
  false,
4859
- true,
4860
  false,
4861
- true,
4862
  false,
4863
- true,
 
 
 
4864
  false,
4865
  false,
4866
  true
@@ -4882,10 +4882,10 @@
4882
  "model.encoder.layers.12.self_attn.out_proj.lora_E": [
4883
  false,
4884
  true,
4885
- true,
4886
  false,
4887
  false,
4888
- true,
 
4889
  false,
4890
  false,
4891
  false,
@@ -4919,14 +4919,14 @@
4919
  false,
4920
  true,
4921
  false,
4922
- true
4923
  ],
4924
  "model.encoder.layers.13.fc1.lora_E": [
4925
  true,
4926
  false,
4927
- true,
4928
  false,
4929
- true,
 
4930
  true,
4931
  false,
4932
  false,
@@ -4943,8 +4943,8 @@
4943
  true,
4944
  false,
4945
  false,
4946
- true,
4947
- true,
4948
  false,
4949
  true,
4950
  true
@@ -4967,7 +4967,7 @@
4967
  false,
4968
  false,
4969
  false,
4970
- true,
4971
  false,
4972
  false,
4973
  false,
@@ -4997,26 +4997,26 @@
4997
  false,
4998
  false,
4999
  false,
5000
- true,
5001
  false,
5002
- true,
 
5003
  false,
5004
  false,
5005
  false,
5006
  true
5007
  ],
5008
  "model.encoder.layers.14.fc1.lora_E": [
5009
- true,
5010
  true,
5011
  false,
5012
- true,
5013
- true,
5014
- true,
5015
  false,
5016
  true,
 
5017
  true,
 
5018
  true,
5019
  false,
 
 
5020
  true
5021
  ],
5022
  "model.encoder.layers.14.fc2.lora_E": [
@@ -5026,7 +5026,7 @@
5026
  false,
5027
  true,
5028
  false,
5029
- true,
5030
  true,
5031
  true,
5032
  true,
@@ -5052,9 +5052,9 @@
5052
  true,
5053
  false,
5054
  false,
5055
- true,
5056
- true,
5057
- true,
5058
  true,
5059
  true,
5060
  false,
@@ -5078,9 +5078,9 @@
5078
  "model.encoder.layers.14.self_attn.v_proj.lora_E": [
5079
  false,
5080
  true,
 
5081
  true,
5082
- true,
5083
- true,
5084
  false,
5085
  true,
5086
  false,
@@ -5106,7 +5106,7 @@
5106
  "model.encoder.layers.15.fc2.lora_E": [
5107
  true,
5108
  false,
5109
- true,
5110
  true,
5111
  true,
5112
  true,
@@ -5114,7 +5114,7 @@
5114
  true,
5115
  true,
5116
  false,
5117
- true,
5118
  false
5119
  ],
5120
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
@@ -5141,8 +5141,8 @@
5141
  false,
5142
  false,
5143
  true,
5144
- true,
5145
- true,
5146
  false
5147
  ],
5148
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
@@ -5170,7 +5170,7 @@
5170
  true,
5171
  true,
5172
  false,
5173
- true,
5174
  true
5175
  ],
5176
  "model.encoder.layers.16.fc1.lora_E": [
@@ -5217,7 +5217,7 @@
5217
  ],
5218
  "model.encoder.layers.16.self_attn.out_proj.lora_E": [
5219
  true,
5220
- true,
5221
  true,
5222
  false,
5223
  true,
@@ -5226,7 +5226,7 @@
5226
  true,
5227
  false,
5228
  false,
5229
- true,
5230
  true
5231
  ],
5232
  "model.encoder.layers.16.self_attn.q_proj.lora_E": [
@@ -5273,7 +5273,7 @@
5273
  ],
5274
  "model.encoder.layers.17.fc2.lora_E": [
5275
  true,
5276
- true,
5277
  true,
5278
  true,
5279
  true,
@@ -5306,7 +5306,7 @@
5306
  false,
5307
  true,
5308
  true,
5309
- true,
5310
  true,
5311
  true,
5312
  true,
@@ -5384,8 +5384,8 @@
5384
  false
5385
  ],
5386
  "model.encoder.layers.18.self_attn.out_proj.lora_E": [
5387
- true,
5388
- true,
5389
  true,
5390
  false,
5391
  false,
@@ -5393,8 +5393,8 @@
5393
  true,
5394
  true,
5395
  true,
5396
- true,
5397
- true,
5398
  false
5399
  ],
5400
  "model.encoder.layers.18.self_attn.q_proj.lora_E": [
@@ -5471,10 +5471,10 @@
5471
  false,
5472
  false,
5473
  false,
5474
- true,
5475
  false,
5476
  false,
5477
- true,
 
5478
  false,
5479
  false,
5480
  false,
@@ -5504,7 +5504,7 @@
5504
  true,
5505
  true,
5506
  false,
5507
- true,
5508
  true,
5509
  true,
5510
  true
@@ -5524,14 +5524,14 @@
5524
  false
5525
  ],
5526
  "model.encoder.layers.2.fc2.lora_E": [
5527
- true,
5528
  false,
5529
  false,
5530
  false,
5531
- true,
5532
  false,
5533
  false,
5534
- true,
 
 
5535
  false,
5536
  false,
5537
  false,
@@ -5554,7 +5554,7 @@
5554
  "model.encoder.layers.2.self_attn.out_proj.lora_E": [
5555
  false,
5556
  false,
5557
- true,
5558
  false,
5559
  false,
5560
  false,
@@ -5636,15 +5636,15 @@
5636
  false
5637
  ],
5638
  "model.encoder.layers.20.self_attn.out_proj.lora_E": [
5639
- true,
5640
  true,
5641
  false,
 
5642
  true,
5643
  true,
 
5644
  true,
5645
  true,
5646
- true,
5647
- true,
5648
  true,
5649
  false,
5650
  true
@@ -5666,13 +5666,13 @@
5666
  "model.encoder.layers.20.self_attn.v_proj.lora_E": [
5667
  true,
5668
  true,
5669
- true,
5670
  true,
5671
  true,
5672
  true,
5673
  false,
5674
  false,
5675
- true,
5676
  true,
5677
  false,
5678
  true
@@ -5685,7 +5685,7 @@
5685
  true,
5686
  true,
5687
  false,
5688
- true,
5689
  false,
5690
  false,
5691
  true,
@@ -5703,7 +5703,7 @@
5703
  true,
5704
  true,
5705
  true,
5706
- true
5707
  ],
5708
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5709
  false,
@@ -5720,14 +5720,14 @@
5720
  false
5721
  ],
5722
  "model.encoder.layers.21.self_attn.out_proj.lora_E": [
5723
- true,
5724
  false,
5725
- true,
5726
- true,
5727
- true,
5728
  true,
5729
  false,
5730
  false,
 
 
5731
  true,
5732
  true,
5733
  false,
@@ -5804,17 +5804,17 @@
5804
  false
5805
  ],
5806
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5807
- true,
5808
- true,
5809
- true,
5810
- true,
5811
  false,
5812
  true,
 
 
5813
  true,
5814
  true,
5815
  true,
5816
  true,
5817
  false,
 
5818
  true
5819
  ],
5820
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
@@ -5835,15 +5835,15 @@
5835
  false,
5836
  true,
5837
  true,
 
5838
  true,
5839
- true,
5840
- true,
5841
- true,
5842
  true,
5843
  true,
5844
  false,
5845
  true,
5846
- true
5847
  ],
5848
  "model.encoder.layers.23.fc1.lora_E": [
5849
  true,
@@ -5888,7 +5888,7 @@
5888
  false
5889
  ],
5890
  "model.encoder.layers.23.self_attn.out_proj.lora_E": [
5891
- true,
5892
  true,
5893
  true,
5894
  true,
@@ -5897,7 +5897,7 @@
5897
  true,
5898
  true,
5899
  false,
5900
- true,
5901
  true,
5902
  true
5903
  ],
@@ -5974,11 +5974,11 @@
5974
  "model.encoder.layers.24.self_attn.out_proj.lora_E": [
5975
  true,
5976
  true,
 
 
 
5977
  true,
5978
- true,
5979
- true,
5980
- true,
5981
- true,
5982
  true,
5983
  true,
5984
  false,
@@ -5990,7 +5990,7 @@
5990
  false,
5991
  false,
5992
  false,
5993
- true,
5994
  false,
5995
  false,
5996
  false,
@@ -6056,24 +6056,24 @@
6056
  false
6057
  ],
6058
  "model.encoder.layers.25.self_attn.out_proj.lora_E": [
6059
- true,
6060
- true,
6061
- true,
6062
  true,
6063
  false,
6064
  true,
6065
- true,
6066
- true,
6067
  false,
6068
  true,
6069
  false,
 
 
 
6070
  true
6071
  ],
6072
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6073
  false,
6074
  false,
6075
  false,
6076
- true,
6077
  false,
6078
  false,
6079
  false,
@@ -6085,7 +6085,7 @@
6085
  ],
6086
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6087
  true,
6088
- true,
6089
  true,
6090
  false,
6091
  true,
@@ -6140,18 +6140,18 @@
6140
  false
6141
  ],
6142
  "model.encoder.layers.26.self_attn.out_proj.lora_E": [
6143
- true,
6144
- true,
6145
  false,
6146
  true,
6147
  false,
6148
- true,
6149
- true,
6150
- true,
6151
  false,
6152
  true,
 
 
 
6153
  true,
6154
- true
 
6155
  ],
6156
  "model.encoder.layers.26.self_attn.q_proj.lora_E": [
6157
  false,
@@ -6224,18 +6224,18 @@
6224
  false
6225
  ],
6226
  "model.encoder.layers.27.self_attn.out_proj.lora_E": [
6227
- true,
6228
- true,
6229
  true,
6230
  true,
6231
  false,
 
 
6232
  true,
6233
  true,
6234
  true,
6235
  true,
6236
  false,
6237
  false,
6238
- true
6239
  ],
6240
  "model.encoder.layers.27.self_attn.q_proj.lora_E": [
6241
  false,
@@ -6312,7 +6312,7 @@
6312
  true,
6313
  false,
6314
  true,
6315
- true,
6316
  true,
6317
  true,
6318
  true,
@@ -6332,7 +6332,7 @@
6332
  false,
6333
  false,
6334
  false,
6335
- true,
6336
  false
6337
  ],
6338
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
@@ -6392,7 +6392,7 @@
6392
  false
6393
  ],
6394
  "model.encoder.layers.29.self_attn.out_proj.lora_E": [
6395
- true,
6396
  true,
6397
  true,
6398
  true,
@@ -6417,7 +6417,7 @@
6417
  false,
6418
  false,
6419
  false,
6420
- true
6421
  ],
6422
  "model.encoder.layers.29.self_attn.v_proj.lora_E": [
6423
  true,
@@ -6448,18 +6448,18 @@
6448
  false
6449
  ],
6450
  "model.encoder.layers.3.fc2.lora_E": [
6451
- true,
6452
  false,
6453
  false,
6454
  false,
6455
  false,
6456
- true,
 
6457
  false,
6458
  true,
6459
  false,
6460
  false,
6461
  false,
6462
- true
6463
  ],
6464
  "model.encoder.layers.3.self_attn.k_proj.lora_E": [
6465
  false,
@@ -6546,13 +6546,13 @@
6546
  true
6547
  ],
6548
  "model.encoder.layers.30.self_attn.k_proj.lora_E": [
6549
- true,
6550
  false,
6551
  false,
6552
  false,
6553
  false,
6554
  false,
6555
- true,
 
6556
  false,
6557
  false,
6558
  false,
@@ -6564,14 +6564,14 @@
6564
  true,
6565
  true,
6566
  true,
 
6567
  true,
6568
  true,
6569
  true,
6570
  true,
6571
  true,
6572
  true,
6573
- true,
6574
- true
6575
  ],
6576
  "model.encoder.layers.30.self_attn.q_proj.lora_E": [
6577
  false,
@@ -6592,9 +6592,9 @@
6592
  true,
6593
  true,
6594
  true,
6595
- true,
6596
  false,
6597
- true,
 
6598
  true,
6599
  true,
6600
  true,
@@ -6653,7 +6653,7 @@
6653
  true,
6654
  true,
6655
  true,
6656
- true,
6657
  true,
6658
  true
6659
  ],
@@ -6676,9 +6676,9 @@
6676
  true,
6677
  true,
6678
  true,
 
6679
  true,
6680
- true,
6681
- true,
6682
  true,
6683
  true,
6684
  true,
@@ -6705,13 +6705,13 @@
6705
  false,
6706
  false,
6707
  false,
6708
- true,
6709
  false,
6710
  false,
6711
  false,
6712
- true,
6713
  false,
6714
- true
 
 
6715
  ],
6716
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
6717
  false,
@@ -6784,12 +6784,12 @@
6784
  false
6785
  ],
6786
  "model.encoder.layers.5.fc2.lora_E": [
6787
- true,
6788
- true,
6789
- true,
6790
  false,
6791
  false,
6792
- true,
 
 
 
6793
  false,
6794
  false,
6795
  false,
@@ -6855,7 +6855,7 @@
6855
  ],
6856
  "model.encoder.layers.6.fc1.lora_E": [
6857
  false,
6858
- true,
6859
  false,
6860
  false,
6861
  false,
@@ -6868,15 +6868,15 @@
6868
  false
6869
  ],
6870
  "model.encoder.layers.6.fc2.lora_E": [
6871
- true,
6872
  false,
6873
  false,
6874
- true,
6875
  false,
6876
  false,
6877
  false,
6878
  false,
6879
- true,
 
 
6880
  false,
6881
  false,
6882
  false
@@ -6948,13 +6948,13 @@
6948
  false,
6949
  false,
6950
  false,
6951
- true,
6952
  false
6953
  ],
6954
  "model.encoder.layers.7.fc2.lora_E": [
6955
  false,
6956
  false,
6957
- true,
6958
  false,
6959
  false,
6960
  false,
@@ -7032,7 +7032,7 @@
7032
  false,
7033
  false,
7034
  false,
7035
- true,
7036
  false
7037
  ],
7038
  "model.encoder.layers.8.fc2.lora_E": [
@@ -7046,8 +7046,8 @@
7046
  false,
7047
  false,
7048
  false,
7049
- true,
7050
- true
7051
  ],
7052
  "model.encoder.layers.8.self_attn.k_proj.lora_E": [
7053
  false,
@@ -7103,7 +7103,7 @@
7103
  false,
7104
  false,
7105
  true,
7106
- true
7107
  ],
7108
  "model.encoder.layers.9.fc1.lora_E": [
7109
  false,
@@ -7182,7 +7182,7 @@
7182
  false,
7183
  false,
7184
  false,
7185
- true,
7186
  false,
7187
  false,
7188
  false,
 
36
  false
37
  ],
38
  "model.decoder.layers.0.encoder_attn.out_proj.lora_E": [
 
 
39
  true,
40
  false,
41
  true,
 
42
  false,
43
  false,
44
  true,
45
+ false,
46
+ false,
47
  true,
48
  true,
49
+ false,
50
  false
51
  ],
52
  "model.decoder.layers.0.encoder_attn.q_proj.lora_E": [
 
73
  false,
74
  false,
75
  false,
76
+ false,
77
  true,
78
  true
79
  ],
80
  "model.decoder.layers.0.fc1.lora_E": [
81
  true,
82
+ false,
83
  true,
84
  true,
85
  true,
 
102
  true,
103
  true,
104
  true,
105
+ false,
106
  true
107
  ],
108
  "model.decoder.layers.0.self_attn.k_proj.lora_E": [
 
121
  ],
122
  "model.decoder.layers.0.self_attn.out_proj.lora_E": [
123
  false,
 
124
  false,
125
  false,
126
+ false,
127
+ false,
128
  true,
129
  false,
130
  false,
 
143
  false,
144
  false,
145
  false,
146
+ false,
147
  false,
148
  false
149
  ],
 
151
  false,
152
  true,
153
  false,
 
154
  false,
155
  false,
 
156
  false,
157
  true,
158
  false,
159
  false,
160
+ false,
161
+ false,
162
  false
163
  ],
164
  "model.decoder.layers.1.encoder_attn.k_proj.lora_E": [
 
185
  false,
186
  false,
187
  false,
188
+ false,
189
+ false,
190
  false
191
  ],
192
  "model.decoder.layers.1.encoder_attn.q_proj.lora_E": [
 
210
  true,
211
  false,
212
  false,
 
 
213
  false,
214
+ false,
215
+ false,
216
+ false,
217
  false,
218
  true
219
  ],
 
262
  "model.decoder.layers.1.self_attn.out_proj.lora_E": [
263
  true,
264
  true,
265
+ false,
 
 
266
  true,
267
  true,
268
  false,
 
269
  false,
270
+ false,
271
+ false,
272
+ false,
273
+ false,
274
+ false
275
  ],
276
  "model.decoder.layers.1.self_attn.q_proj.lora_E": [
277
  false,
 
289
  ],
290
  "model.decoder.layers.1.self_attn.v_proj.lora_E": [
291
  false,
 
292
  false,
293
  false,
294
  false,
295
  false,
296
  false,
297
+ false,
298
+ false,
299
+ false,
300
+ false,
301
+ false,
302
+ false
303
  ],
304
  "model.decoder.layers.10.encoder_attn.k_proj.lora_E": [
305
  false,
 
316
  false
317
  ],
318
  "model.decoder.layers.10.encoder_attn.out_proj.lora_E": [
 
319
  false,
 
320
  false,
 
 
321
  false,
322
  false,
323
  false,
324
  false,
325
+ false,
326
+ false,
327
+ false,
328
+ false,
329
+ false,
330
  false
331
  ],
332
  "model.decoder.layers.10.encoder_attn.q_proj.lora_E": [
 
340
  false,
341
  false,
342
  false,
343
+ false,
344
  false
345
  ],
346
  "model.decoder.layers.10.encoder_attn.v_proj.lora_E": [
347
  false,
348
+ false,
 
 
 
349
  false,
350
  true,
351
  false,
352
+ false,
353
  true,
354
  false,
355
  false,
356
+ false,
357
+ false,
358
  true
359
  ],
360
  "model.decoder.layers.10.fc1.lora_E": [
 
373
  ],
374
  "model.decoder.layers.10.fc2.lora_E": [
375
  true,
376
+ false,
377
  true,
378
  true,
379
  true,
 
400
  false
401
  ],
402
  "model.decoder.layers.10.self_attn.out_proj.lora_E": [
 
 
403
  true,
404
  true,
405
  false,
406
+ false,
407
+ false,
408
  true,
409
  true,
410
  false,
411
  true,
412
+ false,
413
  false,
414
  true
415
  ],
 
428
  false
429
  ],
430
  "model.decoder.layers.10.self_attn.v_proj.lora_E": [
431
+ false,
432
  false,
433
  false,
434
  true,
 
458
  "model.decoder.layers.11.encoder_attn.out_proj.lora_E": [
459
  false,
460
  false,
461
+ false,
462
  false,
463
  false,
464
  true,
465
+ false,
466
  false,
467
  false,
468
  false,
 
484
  false
485
  ],
486
  "model.decoder.layers.11.encoder_attn.v_proj.lora_E": [
 
 
487
  false,
 
488
  false,
489
  false,
490
  true,
491
  false,
492
+ false,
493
+ false,
494
+ false,
495
  true,
496
  true,
497
  false,
 
504
  true,
505
  true,
506
  true,
507
+ false,
508
  true,
509
  true,
510
  true,
 
545
  false,
546
  true,
547
  false,
 
 
548
  false,
549
  false,
550
+ false,
551
+ false,
552
+ false,
553
+ false,
554
  true
555
  ],
556
  "model.decoder.layers.11.self_attn.q_proj.lora_E": [
 
569
  ],
570
  "model.decoder.layers.11.self_attn.v_proj.lora_E": [
571
  true,
572
+ false,
573
  true,
574
  false,
575
  false,
576
+ false,
577
  true,
578
  false,
579
  false,
 
596
  false
597
  ],
598
  "model.decoder.layers.12.encoder_attn.out_proj.lora_E": [
 
599
  false,
600
  false,
 
601
  false,
602
  false,
603
  false,
604
  false,
605
  false,
606
  false,
607
+ false,
608
+ false,
609
+ false,
610
  false
611
  ],
612
  "model.decoder.layers.12.encoder_attn.q_proj.lora_E": [
 
628
  false,
629
  false,
630
  true,
631
+ false,
632
  false,
633
  false,
634
  false,
 
656
  true,
657
  true,
658
  true,
659
+ false,
660
  true,
661
  true,
662
  true,
 
674
  false,
675
  false,
676
  false,
677
+ false,
678
  false,
679
  false,
680
  false
 
682
  "model.decoder.layers.12.self_attn.out_proj.lora_E": [
683
  true,
684
  false,
685
+ false,
686
  true,
687
  false,
688
  false,
689
  false,
690
+ false,
691
  true,
692
+ false,
693
+ false,
 
694
  false
695
  ],
696
  "model.decoder.layers.12.self_attn.q_proj.lora_E": [
 
710
  "model.decoder.layers.12.self_attn.v_proj.lora_E": [
711
  false,
712
  false,
713
+ false,
714
  false,
715
  false,
716
  false,
 
719
  false,
720
  false,
721
  false,
722
+ false
723
  ],
724
  "model.decoder.layers.13.encoder_attn.k_proj.lora_E": [
725
  false,
 
738
  "model.decoder.layers.13.encoder_attn.out_proj.lora_E": [
739
  false,
740
  true,
741
+ false,
742
  true,
743
  false,
744
  false,
745
  false,
746
+ false,
747
  true,
748
+ false,
 
749
  true,
750
  true
751
  ],
 
766
  "model.decoder.layers.13.encoder_attn.v_proj.lora_E": [
767
  false,
768
  true,
769
+ false,
770
+ false,
771
  true,
772
  true,
773
  true,
 
809
  false,
810
  false,
811
  false,
812
+ false,
813
  false,
814
  false,
815
  false,
 
820
  false
821
  ],
822
  "model.decoder.layers.13.self_attn.out_proj.lora_E": [
823
+ false,
824
  false,
825
  true,
826
  true,
827
  true,
828
+ false,
829
  true,
830
+ false,
 
 
831
  true,
832
  true,
833
  true,
 
835
  ],
836
  "model.decoder.layers.13.self_attn.q_proj.lora_E": [
837
  false,
838
+ false,
839
  false,
840
  false,
841
  false,
 
849
  ],
850
  "model.decoder.layers.13.self_attn.v_proj.lora_E": [
851
  false,
 
852
  false,
853
  false,
854
  false,
855
  false,
856
  false,
857
  false,
858
+ false,
859
+ false,
860
  false,
861
  false,
862
  true
 
940
  true,
941
  true,
942
  true,
943
+ false,
944
  true,
945
  true,
946
  true
 
949
  false,
950
  false,
951
  false,
952
+ false,
953
  false,
954
  false,
955
  false,
 
962
  "model.decoder.layers.14.self_attn.out_proj.lora_E": [
963
  false,
964
  true,
 
 
 
965
  false,
966
  true,
967
+ false,
968
+ false,
969
  true,
970
  true,
971
  true,
972
+ false,
973
+ false,
974
  true
975
  ],
976
  "model.decoder.layers.14.self_attn.q_proj.lora_E": [
 
1017
  ],
1018
  "model.decoder.layers.15.encoder_attn.out_proj.lora_E": [
1019
  true,
1020
+ false,
1021
+ false,
1022
+ false,
1023
  true,
1024
+ false,
1025
  true,
1026
  true,
1027
  true,
1028
+ false,
 
 
 
 
1029
  true,
1030
  true
1031
  ],
 
1033
  false,
1034
  false,
1035
  false,
1036
+ false,
1037
  false,
1038
  false,
1039
  false,
 
1108
  true,
1109
  true,
1110
  false,
1111
+ false,
1112
  false,
1113
  false,
1114
  true
 
1135
  true,
1136
  false,
1137
  false,
1138
+ false,
1139
+ false,
1140
  true,
1141
  true,
1142
  false
 
1156
  false
1157
  ],
1158
  "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
1159
+ false,
 
1160
  true,
1161
  false,
1162
  false,
 
 
1163
  false,
1164
  true,
1165
  true,
1166
+ false,
1167
+ false,
1168
+ false,
1169
  true,
1170
+ false
1171
  ],
1172
  "model.decoder.layers.16.encoder_attn.q_proj.lora_E": [
1173
  false,
 
1221
  true,
1222
  true,
1223
  true,
1224
+ false,
1225
  true,
1226
  true
1227
  ],
 
1230
  false,
1231
  false,
1232
  false,
1233
+ false,
1234
  false,
1235
  false,
1236
  false,
 
1272
  true,
1273
  true,
1274
  true,
1275
+ false,
1276
  true,
1277
  true,
1278
  true,
 
1297
  ],
1298
  "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
1299
  true,
1300
+ false,
1301
  true,
1302
  true,
1303
+ false,
1304
+ false,
1305
+ false,
1306
+ false,
1307
+ false,
1308
+ false,
1309
  true,
1310
+ false
 
 
 
 
 
 
 
1311
  ],
1312
  "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
1313
  false,
 
1329
  true,
1330
  true,
1331
  true,
1332
+ false,
1333
  true,
1334
  true,
1335
  true,
 
1357
  true,
1358
  false,
1359
  true,
1360
+ false,
1361
  true,
1362
  true,
1363
+ false,
 
1364
  true,
1365
  true,
1366
  true
 
1370
  false,
1371
  false,
1372
  false,
 
1373
  false,
1374
+ false,
1375
+ false,
1376
  false,
1377
  false,
1378
  true,
 
1386
  false,
1387
  false,
1388
  true,
 
1389
  false,
 
1390
  false,
1391
  true,
1392
+ false,
1393
+ false,
1394
  true
1395
  ],
1396
  "model.decoder.layers.17.self_attn.q_proj.lora_E": [
 
1437
  ],
1438
  "model.decoder.layers.18.encoder_attn.out_proj.lora_E": [
1439
  false,
 
1440
  false,
 
1441
  false,
1442
  true,
1443
  false,
1444
+ false,
1445
  false,
1446
  true,
1447
+ false,
1448
+ false,
1449
+ false,
1450
  true
1451
  ],
1452
  "model.decoder.layers.18.encoder_attn.q_proj.lora_E": [
1453
  false,
1454
  false,
1455
  false,
 
1456
  false,
1457
  false,
1458
  false,
1459
+ false,
1460
+ false,
1461
  false,
1462
  false,
1463
  false,
 
1495
  true,
1496
  true,
1497
  true,
 
1498
  false,
1499
+ false,
1500
+ false,
1501
  true,
1502
  true,
1503
  true,
1504
  true,
1505
  false,
1506
+ false
1507
  ],
1508
  "model.decoder.layers.18.self_attn.k_proj.lora_E": [
1509
  false,
 
1527
  true,
1528
  true,
1529
  true,
1530
+ false,
1531
  true,
1532
+ false,
 
1533
  true,
1534
  true
1535
  ],
1536
  "model.decoder.layers.18.self_attn.q_proj.lora_E": [
 
1537
  false,
1538
  false,
1539
  false,
 
1544
  false,
1545
  false,
1546
  false,
1547
+ false,
1548
+ false
1549
  ],
1550
  "model.decoder.layers.18.self_attn.v_proj.lora_E": [
1551
  true,
1552
+ false,
1553
  true,
1554
+ false,
1555
+ false,
 
1556
  true,
1557
  false,
1558
  false,
 
1576
  false
1577
  ],
1578
  "model.decoder.layers.19.encoder_attn.out_proj.lora_E": [
1579
+ false,
1580
+ false,
1581
  true,
1582
+ false,
1583
+ false,
1584
+ false,
1585
+ false,
1586
  true,
1587
+ false,
1588
+ false,
1589
+ false,
 
 
 
 
 
 
1590
  true
1591
  ],
1592
  "model.decoder.layers.19.encoder_attn.q_proj.lora_E": [
 
1608
  true,
1609
  false,
1610
  false,
 
 
1611
  true,
1612
  false,
1613
  true,
1614
  false,
1615
  false,
1616
+ false,
1617
+ false,
1618
  true
1619
  ],
1620
  "model.decoder.layers.19.fc1.lora_E": [
 
1647
  ],
1648
  "model.decoder.layers.19.self_attn.k_proj.lora_E": [
1649
  false,
 
1650
  false,
1651
  false,
 
 
1652
  false,
1653
  true,
1654
+ false,
1655
+ false,
1656
+ false,
1657
+ false,
1658
  false,
1659
  true,
1660
  false
 
1663
  true,
1664
  false,
1665
  false,
1666
+ false,
1667
  false,
1668
  true,
1669
  false,
 
1684
  false,
1685
  false,
1686
  false,
1687
+ false,
1688
  false
1689
  ],
1690
  "model.decoder.layers.19.self_attn.v_proj.lora_E": [
 
1718
  "model.decoder.layers.2.encoder_attn.out_proj.lora_E": [
1719
  false,
1720
  false,
 
 
1721
  false,
1722
  false,
1723
  false,
 
1724
  false,
1725
+ false,
1726
+ false,
1727
+ false,
1728
+ false,
1729
  true,
1730
  false
1731
  ],
 
1745
  ],
1746
  "model.decoder.layers.2.encoder_attn.v_proj.lora_E": [
1747
  false,
1748
+ false,
 
 
 
 
1749
  false,
1750
  true,
1751
  false,
1752
  true,
1753
+ false,
1754
+ false,
1755
+ false,
1756
  true,
1757
+ false,
1758
+ false
1759
  ],
1760
  "model.decoder.layers.2.fc1.lora_E": [
1761
  true,
 
1800
  false
1801
  ],
1802
  "model.decoder.layers.2.self_attn.out_proj.lora_E": [
 
 
1803
  true,
1804
  false,
1805
+ false,
1806
+ false,
1807
  true,
1808
+ false,
1809
+ false,
1810
+ false,
1811
  true,
1812
  true,
1813
  true,
1814
+ false
 
 
 
1815
  ],
1816
  "model.decoder.layers.2.self_attn.q_proj.lora_E": [
1817
  false,
 
1835
  false,
1836
  false,
1837
  false,
1838
+ false,
1839
  false,
1840
  false,
1841
  false,
 
1856
  false
1857
  ],
1858
  "model.decoder.layers.20.encoder_attn.out_proj.lora_E": [
1859
+ false,
1860
  true,
1861
+ false,
1862
  true,
1863
  true,
1864
  true,
 
1867
  true,
1868
  true,
1869
  true,
1870
+ false
 
 
1871
  ],
1872
  "model.decoder.layers.20.encoder_attn.q_proj.lora_E": [
1873
  false,
 
1879
  false,
1880
  false,
1881
  false,
1882
+ false,
1883
  false,
1884
  false
1885
  ],
 
1890
  true,
1891
  true,
1892
  true,
1893
+ false,
1894
  true,
1895
  true,
1896
  true,
 
1926
  true
1927
  ],
1928
  "model.decoder.layers.20.self_attn.k_proj.lora_E": [
1929
+ false,
1930
  true,
1931
  true,
1932
  true,
 
1942
  "model.decoder.layers.20.self_attn.out_proj.lora_E": [
1943
  true,
1944
  false,
1945
+ false,
1946
  true,
1947
  false,
1948
  false,
1949
  false,
1950
  false,
1951
  false,
1952
+ false,
1953
  true,
1954
  true
1955
  ],
 
1972
  false,
1973
  false,
1974
  false,
 
 
1975
  false,
 
1976
  false,
1977
  false,
1978
  true,
1979
+ false,
1980
+ false,
1981
+ false,
1982
  true
1983
  ],
1984
  "model.decoder.layers.21.encoder_attn.k_proj.lora_E": [
 
1996
  false
1997
  ],
1998
  "model.decoder.layers.21.encoder_attn.out_proj.lora_E": [
1999
+ false,
2000
+ false,
 
 
2001
  true,
2002
  false,
2003
  true,
2004
+ false,
2005
+ false,
2006
  true,
2007
  true,
2008
  true,
 
2053
  ],
2054
  "model.decoder.layers.21.fc2.lora_E": [
2055
  true,
2056
+ false,
2057
  true,
2058
  true,
2059
  true,
 
2068
  "model.decoder.layers.21.self_attn.k_proj.lora_E": [
2069
  true,
2070
  true,
2071
+ false,
2072
  true,
2073
  true,
2074
  true,
2075
+ false,
 
2076
  false,
2077
  true,
2078
  true,
 
2085
  true,
2086
  true,
2087
  false,
2088
+ false,
2089
+ false,
2090
  true,
2091
  true,
2092
  false,
 
2094
  false
2095
  ],
2096
  "model.decoder.layers.21.self_attn.q_proj.lora_E": [
 
2097
  false,
2098
  false,
2099
+ false,
2100
+ false,
2101
+ false,
2102
  true,
2103
  true,
2104
  false,
2105
  true,
2106
+ false,
2107
  false,
2108
  false
2109
  ],
 
2114
  true,
2115
  true,
2116
  true,
 
 
2117
  false,
2118
  true,
2119
+ false,
2120
  true,
2121
+ false,
2122
  true
2123
  ],
2124
  "model.decoder.layers.22.encoder_attn.k_proj.lora_E": [
 
2144
  true,
2145
  true,
2146
  true,
2147
+ false,
2148
  true,
2149
  true,
2150
  true
 
2206
  false
2207
  ],
2208
  "model.decoder.layers.22.self_attn.k_proj.lora_E": [
2209
+ false,
2210
  true,
2211
  true,
2212
  false,
 
2213
  false,
 
2214
  false,
2215
  false,
2216
  false,
2217
  false,
2218
+ false,
2219
+ false,
2220
+ false
2221
  ],
2222
  "model.decoder.layers.22.self_attn.out_proj.lora_E": [
2223
  false,
 
2224
  false,
 
2225
  false,
2226
  true,
2227
+ false,
2228
+ false,
2229
  true,
2230
  true,
2231
  true,
2232
+ false,
2233
  true,
2234
  false
2235
  ],
 
2253
  false,
2254
  true,
2255
  true,
2256
+ false,
2257
  true,
2258
  true,
2259
  true,
2260
  true,
2261
  true,
2262
+ false
 
2263
  ],
2264
  "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
2265
  false,
 
2346
  true
2347
  ],
2348
  "model.decoder.layers.23.self_attn.k_proj.lora_E": [
 
 
2349
  false,
2350
  true,
2351
+ false,
2352
  false,
2353
  true,
2354
+ false,
2355
+ false,
2356
  true,
2357
+ false,
2358
+ false,
2359
+ false,
2360
  true
2361
  ],
2362
  "model.decoder.layers.23.self_attn.out_proj.lora_E": [
 
2364
  true,
2365
  true,
2366
  true,
2367
+ false,
2368
  false,
2369
  false,
2370
  true,
 
2374
  false
2375
  ],
2376
  "model.decoder.layers.23.self_attn.q_proj.lora_E": [
2377
+ false,
2378
  false,
2379
  false,
2380
  false,
 
2395
  true,
2396
  false,
2397
  true,
2398
+ false,
 
2399
  true,
2400
  false,
2401
+ false,
2402
  true
2403
  ],
2404
  "model.decoder.layers.24.encoder_attn.k_proj.lora_E": [
2405
+ false,
2406
  false,
2407
  false,
2408
  false,
 
2438
  false,
2439
  false,
2440
  false,
2441
+ false,
2442
+ false,
2443
  false,
2444
  false
2445
  ],
 
2455
  true,
2456
  true,
2457
  true,
2458
+ false
2459
  ],
2460
  "model.decoder.layers.24.fc1.lora_E": [
2461
  true,
2462
  true,
2463
  true,
2464
+ false,
2465
  true,
2466
  true,
2467
  true,
 
2483
  true,
2484
  true,
2485
  false,
2486
+ false
2487
  ],
2488
  "model.decoder.layers.24.self_attn.k_proj.lora_E": [
2489
  true,
 
2500
  true
2501
  ],
2502
  "model.decoder.layers.24.self_attn.out_proj.lora_E": [
 
 
2503
  true,
2504
  false,
2505
+ false,
 
2506
  false,
2507
  true,
2508
  true,
2509
  false,
2510
  true,
2511
+ false,
2512
+ false,
2513
+ false,
2514
+ false
2515
  ],
2516
  "model.decoder.layers.24.self_attn.q_proj.lora_E": [
2517
  false,
 
 
2518
  false,
 
 
 
2519
  false,
2520
  false,
2521
+ false,
2522
+ false,
2523
+ false,
2524
+ false,
2525
+ false,
2526
+ false,
2527
  false,
2528
  false
2529
  ],
2530
  "model.decoder.layers.24.self_attn.v_proj.lora_E": [
2531
  true,
2532
  true,
2533
+ false,
2534
+ false,
2535
  true,
2536
  true,
2537
  true,
2538
  false,
2539
+ false,
2540
+ false,
2541
  true,
2542
  true
2543
  ],
 
2561
  true,
2562
  true,
2563
  true,
2564
+ false,
2565
  true,
2566
  true,
2567
  true,
 
2572
  "model.decoder.layers.25.encoder_attn.q_proj.lora_E": [
2573
  false,
2574
  false,
 
2575
  false,
2576
  false,
2577
  false,
2578
  false,
 
2579
  false,
2580
  false,
2581
+ false,
2582
+ false,
2583
+ false,
2584
  false
2585
  ],
2586
  "model.decoder.layers.25.encoder_attn.v_proj.lora_E": [
 
2630
  true,
2631
  true,
2632
  true,
2633
+ false,
2634
  true,
2635
  true,
2636
  true,
2637
  true,
2638
  true,
2639
  true,
2640
+ false
 
2641
  ],
2642
  "model.decoder.layers.25.self_attn.out_proj.lora_E": [
2643
  false,
2644
  false,
2645
+ false,
2646
  false,
2647
  false,
2648
  true,
2649
+ false,
2650
+ false,
2651
  true,
2652
  true,
2653
  false,
2654
  false
2655
  ],
2656
  "model.decoder.layers.25.self_attn.q_proj.lora_E": [
 
2657
  false,
 
2658
  false,
2659
  false,
2660
  false,
2661
  false,
 
2662
  false,
2663
  false,
2664
+ false,
2665
+ false,
2666
+ false,
2667
+ false,
2668
+ false
2669
  ],
2670
  "model.decoder.layers.25.self_attn.v_proj.lora_E": [
2671
  false,
 
2702
  true,
2703
  true,
2704
  true,
2705
+ false,
2706
  true,
2707
  true,
2708
  true,
 
2715
  false,
2716
  false,
2717
  false,
2718
+ false,
2719
+ false,
2720
  false,
2721
  false,
2722
  false,
 
2760
  true,
2761
  false,
2762
  false,
2763
+ false,
2764
  false,
2765
  true,
2766
  false
 
2768
  "model.decoder.layers.26.self_attn.k_proj.lora_E": [
2769
  true,
2770
  true,
2771
+ false,
 
2772
  true,
2773
  false,
2774
  false,
2775
+ false,
2776
+ false,
2777
  true,
2778
  true,
2779
+ false,
2780
+ false
 
2781
  ],
2782
  "model.decoder.layers.26.self_attn.out_proj.lora_E": [
2783
  false,
2784
  false,
2785
+ false,
2786
  true,
2787
  false,
2788
  true,
 
2798
  false,
2799
  true,
2800
  false,
 
2801
  false,
2802
  false,
2803
  false,
 
2804
  false,
2805
+ false,
2806
+ false,
2807
+ false,
2808
  true
2809
  ],
2810
  "model.decoder.layers.26.self_attn.v_proj.lora_E": [
 
2815
  true,
2816
  false,
2817
  false,
2818
+ false,
2819
  true,
2820
  true,
2821
  false,
 
2841
  true,
2842
  true,
2843
  true,
2844
+ false,
2845
  true,
2846
  true,
2847
  true,
2848
  true,
2849
+ false,
 
2850
  true
2851
  ],
2852
  "model.decoder.layers.27.encoder_attn.q_proj.lora_E": [
 
2868
  true,
2869
  true,
2870
  true,
2871
+ false,
2872
  true,
2873
  true,
2874
  true,
 
2892
  true
2893
  ],
2894
  "model.decoder.layers.27.fc2.lora_E": [
2895
+ false,
2896
  false,
2897
  true,
2898
  true,
 
2906
  false
2907
  ],
2908
  "model.decoder.layers.27.self_attn.k_proj.lora_E": [
 
 
 
2909
  true,
2910
  true,
2911
  true,
2912
  false,
2913
+ false,
2914
+ false,
2915
+ false,
2916
  true,
2917
+ false,
2918
  true,
2919
  true,
2920
  true
 
2924
  true,
2925
  true,
2926
  false,
 
 
2927
  false,
2928
  false,
 
2929
  false,
2930
  false,
2931
+ false,
2932
+ false,
2933
+ false,
2934
+ false
2935
  ],
2936
  "model.decoder.layers.27.self_attn.q_proj.lora_E": [
2937
  true,
 
2940
  false,
2941
  false,
2942
  false,
 
2943
  false,
2944
  false,
2945
  false,
2946
+ false,
2947
+ false,
2948
  false
2949
  ],
2950
  "model.decoder.layers.27.self_attn.v_proj.lora_E": [
 
2951
  true,
2952
  true,
2953
  false,
2954
  false,
2955
  false,
2956
+ false,
2957
  true,
2958
  true,
2959
  false,
 
2963
  ],
2964
  "model.decoder.layers.28.encoder_attn.k_proj.lora_E": [
2965
  false,
2966
+ false,
2967
  false,
2968
  false,
2969
  false,
 
2981
  true,
2982
  true,
2983
  true,
2984
+ false,
2985
  true,
2986
  true,
2987
  true,
 
3032
  true
3033
  ],
3034
  "model.decoder.layers.28.fc2.lora_E": [
3035
+ false,
3036
+ false,
3037
+ false,
3038
  true,
3039
  true,
3040
  true,
 
3046
  true
3047
  ],
3048
  "model.decoder.layers.28.self_attn.k_proj.lora_E": [
3049
+ false,
3050
  true,
3051
  true,
3052
+ false,
 
3053
  true,
3054
  false,
3055
  true,
 
3057
  true,
3058
  false,
3059
  true,
3060
+ false
3061
  ],
3062
  "model.decoder.layers.28.self_attn.out_proj.lora_E": [
3063
  false,
 
3064
  false,
3065
+ false,
3066
+ false,
3067
  true,
3068
  true,
3069
  true,
 
3071
  true,
3072
  false,
3073
  false,
3074
+ false
3075
  ],
3076
  "model.decoder.layers.28.self_attn.q_proj.lora_E": [
3077
  false,
 
3090
  "model.decoder.layers.28.self_attn.v_proj.lora_E": [
3091
  true,
3092
  false,
3093
+ false,
 
 
3094
  true,
3095
  false,
3096
  true,
3097
  false,
3098
+ false,
3099
+ false,
3100
  true,
3101
  false,
3102
  true
 
3119
  true,
3120
  true,
3121
  true,
3122
+ false,
3123
+ false,
3124
+ false,
3125
  true,
3126
+ false,
3127
+ false,
3128
+ false,
3129
+ false,
 
 
 
3130
  true
3131
  ],
3132
  "model.decoder.layers.29.encoder_attn.q_proj.lora_E": [
 
3138
  false,
3139
  false,
3140
  false,
3141
+ false,
3142
  false,
3143
  false,
3144
  false
 
3172
  true
3173
  ],
3174
  "model.decoder.layers.29.fc2.lora_E": [
3175
+ false,
3176
  true,
3177
  true,
3178
  true,
3179
  true,
3180
+ false,
 
3181
  true,
3182
  true,
3183
  true,
 
3186
  true
3187
  ],
3188
  "model.decoder.layers.29.self_attn.k_proj.lora_E": [
 
 
3189
  false,
3190
  false,
3191
  false,
 
 
3192
  false,
3193
  false,
3194
  true,
3195
  true,
3196
+ false,
3197
+ false,
3198
+ false,
3199
+ false,
3200
  false
3201
  ],
3202
  "model.decoder.layers.29.self_attn.out_proj.lora_E": [
 
3205
  true,
3206
  false,
3207
  false,
3208
+ false,
3209
  false,
3210
  false,
3211
  false,
 
3215
  ],
3216
  "model.decoder.layers.29.self_attn.q_proj.lora_E": [
3217
  false,
3218
+ false,
3219
+ false,
3220
  false,
3221
  false,
3222
  false,
 
3239
  false,
3240
  false,
3241
  false,
3242
+ false
3243
  ],
3244
  "model.decoder.layers.3.encoder_attn.k_proj.lora_E": [
3245
  false,
 
3258
  "model.decoder.layers.3.encoder_attn.out_proj.lora_E": [
3259
  true,
3260
  true,
3261
+ false,
3262
  true,
3263
+ false,
3264
+ false,
3265
  true,
3266
  true,
3267
  true,
3268
+ false,
3269
  true,
3270
+ false
 
 
 
 
3271
  ],
3272
  "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
3273
  false,
 
3287
  false,
3288
  false,
3289
  true,
3290
+ false,
3291
+ false,
3292
+ false,
3293
+ false,
3294
+ false,
3295
  true,
3296
+ false,
 
 
 
 
 
3297
  true,
3298
  false
3299
  ],
 
3348
  false,
3349
  false,
3350
  false,
 
 
3351
  false,
3352
+ false,
3353
+ false,
3354
+ false
3355
  ],
3356
  "model.decoder.layers.3.self_attn.q_proj.lora_E": [
3357
  false,
 
3368
  false
3369
  ],
3370
  "model.decoder.layers.3.self_attn.v_proj.lora_E": [
 
3371
  false,
 
 
 
3372
  false,
3373
+ false,
3374
+ false,
3375
+ false,
3376
+ false,
3377
+ false,
3378
  false,
3379
  false,
3380
  true,
3381
  true,
3382
+ false
3383
  ],
3384
  "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
3385
  false,
 
3396
  false
3397
  ],
3398
  "model.decoder.layers.30.encoder_attn.out_proj.lora_E": [
 
3399
  true,
3400
  true,
3401
  false,
3402
+ false,
3403
+ false,
3404
+ false,
3405
  true,
3406
  true,
3407
  true,
3408
  true,
3409
  true,
3410
+ false
 
 
3411
  ],
3412
  "model.decoder.layers.30.encoder_attn.q_proj.lora_E": [
3413
  false,
 
3431
  true,
3432
  true,
3433
  true,
3434
+ false,
3435
  true,
3436
  true,
3437
  true,
 
3474
  true,
3475
  false,
3476
  true,
3477
+ false,
3478
+ false,
3479
  true,
3480
  true
3481
  ],
3482
  "model.decoder.layers.30.self_attn.out_proj.lora_E": [
3483
  false,
3484
+ false,
3485
  false,
3486
  false,
3487
  false,
 
3501
  false,
3502
  false,
3503
  false,
3504
+ false,
3505
+ false,
3506
  false,
3507
  false,
3508
  false
3509
  ],
3510
  "model.decoder.layers.30.self_attn.v_proj.lora_E": [
3511
  false,
3512
+ false,
3513
  true,
3514
  false,
3515
  false,
3516
  false,
 
3517
  false,
3518
+ false,
3519
+ false,
3520
  true,
3521
  false,
3522
  true
 
3539
  false,
3540
  false,
3541
  false,
 
3542
  false,
3543
  false,
3544
  false,
3545
  false,
3546
  false,
3547
+ false,
3548
+ false,
3549
  false,
3550
  false
3551
  ],
 
3565
  ],
3566
  "model.decoder.layers.31.encoder_attn.v_proj.lora_E": [
3567
  false,
3568
+ false,
3569
+ false,
 
 
3570
  false,
3571
  true,
3572
+ false,
3573
+ false,
3574
+ false,
3575
+ false,
3576
  false,
3577
  true,
3578
  true
 
3580
  "model.decoder.layers.31.fc1.lora_E": [
3581
  false,
3582
  true,
3583
+ false,
3584
  false,
3585
  false,
3586
  false,
 
3622
  "model.decoder.layers.31.self_attn.out_proj.lora_E": [
3623
  false,
3624
  false,
3625
+ false,
3626
  false,
3627
  false,
3628
  false,
 
3634
  false
3635
  ],
3636
  "model.decoder.layers.31.self_attn.q_proj.lora_E": [
3637
+ false,
3638
  false,
3639
  false,
3640
  false,
 
3650
  "model.decoder.layers.31.self_attn.v_proj.lora_E": [
3651
  false,
3652
  false,
 
3653
  false,
3654
  false,
3655
+ false,
3656
+ false,
3657
+ false,
3658
  false,
3659
  false,
3660
  false,
 
3663
  ],
3664
  "model.decoder.layers.4.encoder_attn.k_proj.lora_E": [
3665
  false,
3666
+ false,
3667
  false,
3668
  false,
3669
  false,
 
3678
  "model.decoder.layers.4.encoder_attn.out_proj.lora_E": [
3679
  true,
3680
  false,
3681
+ false,
3682
+ false,
 
 
 
3683
  false,
3684
  true,
3685
  false,
3686
+ false,
3687
+ false,
3688
+ false,
3689
  true,
3690
+ false
3691
  ],
3692
  "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
3693
  false,
 
3707
  true,
3708
  true,
3709
  false,
3710
+ false,
3711
  false,
3712
  false,
3713
  true,
3714
  true,
3715
+ false,
3716
  true,
3717
  true,
3718
  true
 
3792
  true,
3793
  true,
3794
  false,
3795
+ false,
3796
+ false,
3797
+ false,
3798
  false,
3799
  true,
3800
  false,
 
3817
  ],
3818
  "model.decoder.layers.5.encoder_attn.out_proj.lora_E": [
3819
  false,
 
3820
  false,
3821
  false,
 
 
 
3822
  false,
3823
+ false,
3824
+ false,
3825
+ false,
3826
+ false,
3827
+ false,
3828
  false,
3829
  false,
3830
  false
 
3844
  false
3845
  ],
3846
  "model.decoder.layers.5.encoder_attn.v_proj.lora_E": [
3847
+ false,
3848
  false,
3849
  true,
3850
  true,
 
3901
  ],
3902
  "model.decoder.layers.5.self_attn.out_proj.lora_E": [
3903
  false,
 
3904
  false,
3905
  false,
3906
  false,
 
3908
  false,
3909
  false,
3910
  false,
3911
+ false,
3912
+ false,
3913
  false,
3914
  false
3915
  ],
 
3989
  false,
3990
  false,
3991
  false,
 
 
3992
  false,
3993
+ false,
3994
+ false,
3995
+ false,
3996
  false,
3997
  false,
3998
  false
 
4001
  true,
4002
  true,
4003
  true,
4004
+ false,
4005
  true,
4006
  true,
4007
  true,
 
4048
  false,
4049
  false,
4050
  false,
4051
+ true,
4052
  false,
4053
  false,
4054
  false
 
4069
  ],
4070
  "model.decoder.layers.6.self_attn.v_proj.lora_E": [
4071
  false,
 
4072
  false,
4073
  false,
4074
  false,
 
4075
  false,
4076
  false,
4077
+ false,
4078
+ false,
4079
+ false,
4080
  true,
4081
  false,
4082
  true
 
4129
  false,
4130
  false,
4131
  false,
4132
+ false,
4133
  false,
4134
  false,
4135
  false,
 
4212
  false,
4213
  true,
4214
  true,
4215
+ false,
4216
  true,
4217
  false,
4218
  false,
 
4246
  false,
4247
  false,
4248
  false,
4249
+ false,
4250
  false
4251
  ],
4252
  "model.decoder.layers.8.encoder_attn.q_proj.lora_E": [
 
4267
  false,
4268
  false,
4269
  false,
4270
+ false,
4271
  false,
4272
  false,
4273
  false,
 
4287
  true,
4288
  true,
4289
  true,
4290
+ false,
4291
  true,
4292
  true
4293
  ],
4294
  "model.decoder.layers.8.fc2.lora_E": [
4295
  true,
4296
+ false,
4297
  true,
4298
  true,
4299
  true,
 
4331
  false,
4332
  false,
4333
  false,
4334
+ false
4335
  ],
4336
  "model.decoder.layers.8.self_attn.q_proj.lora_E": [
4337
  false,
 
4349
  ],
4350
  "model.decoder.layers.8.self_attn.v_proj.lora_E": [
4351
  false,
4352
+ false,
4353
  false,
4354
  false,
4355
  false,
 
4358
  false,
4359
  false,
4360
  true,
4361
+ false,
4362
  false
4363
  ],
4364
  "model.decoder.layers.9.encoder_attn.k_proj.lora_E": [
 
4408
  false,
4409
  false,
4410
  false,
 
4411
  false,
4412
  false,
4413
  false,
4414
  false,
4415
+ false,
4416
+ false,
4417
+ false,
4418
+ false
4419
  ],
4420
  "model.decoder.layers.9.fc1.lora_E": [
4421
  true,
 
4428
  true,
4429
  true,
4430
  true,
4431
+ false,
4432
  true
4433
  ],
4434
  "model.decoder.layers.9.fc2.lora_E": [
 
4437
  true,
4438
  true,
4439
  true,
4440
+ false,
4441
  true,
4442
  true,
4443
  true,
 
4460
  false
4461
  ],
4462
  "model.decoder.layers.9.self_attn.out_proj.lora_E": [
 
4463
  false,
 
4464
  false,
4465
  false,
 
4466
  false,
4467
  false,
4468
  false,
4469
  false,
4470
+ false,
4471
+ false,
4472
+ false,
4473
+ false,
4474
  false
4475
  ],
4476
  "model.decoder.layers.9.self_attn.q_proj.lora_E": [
 
4488
  false
4489
  ],
4490
  "model.decoder.layers.9.self_attn.v_proj.lora_E": [
4491
+ false,
4492
  false,
4493
  false,
4494
  false,
 
4498
  false,
4499
  true,
4500
  false,
4501
+ false,
4502
  false
4503
  ],
4504
  "model.encoder.layers.0.fc1.lora_E": [
4505
  false,
4506
+ false,
4507
+ false,
4508
  false,
4509
  false,
4510
  false,
 
4520
  false,
4521
  false,
4522
  false,
4523
+ false,
4524
+ false,
4525
  false,
4526
  false,
4527
  false,
 
4544
  false
4545
  ],
4546
  "model.encoder.layers.0.self_attn.out_proj.lora_E": [
4547
+ false,
4548
  false,
4549
  false,
4550
  true,
 
4552
  false,
4553
  true,
4554
  true,
4555
+ false,
4556
  false,
4557
  false,
4558
  false
 
4575
  false,
4576
  false,
4577
  false,
 
4578
  false,
4579
+ false,
4580
+ false,
4581
  false,
4582
  false,
4583
  false,
 
4593
  false,
4594
  false,
4595
  false,
 
4596
  false,
4597
  false,
4598
  false,
4599
+ false,
4600
+ false
4601
  ],
4602
  "model.encoder.layers.1.fc2.lora_E": [
4603
  false,
 
4609
  false,
4610
  false,
4611
  false,
4612
+ false,
4613
  true,
4614
+ false
 
4615
  ],
4616
  "model.encoder.layers.1.self_attn.k_proj.lora_E": [
4617
  false,
 
4635
  false,
4636
  false,
4637
  false,
 
4638
  false,
4639
+ false,
4640
+ false,
4641
  false,
4642
  false
4643
  ],
 
4680
  false,
4681
  false,
4682
  false,
4683
+ false,
4684
  false
4685
  ],
4686
  "model.encoder.layers.10.fc2.lora_E": [
 
4689
  false,
4690
  false,
4691
  false,
 
4692
  false,
4693
  false,
 
4694
  false,
4695
  true,
4696
+ false,
4697
+ false,
4698
  false
4699
  ],
4700
  "model.encoder.layers.10.self_attn.k_proj.lora_E": [
 
4715
  false,
4716
  false,
4717
  false,
4718
+ false,
4719
  false,
4720
  false,
4721
  false,
 
4757
  false,
4758
  false,
4759
  true,
4760
+ false,
4761
  false,
4762
  true,
4763
  false,
 
4769
  ],
4770
  "model.encoder.layers.11.fc2.lora_E": [
4771
  false,
4772
+ false,
 
4773
  true,
4774
  true,
4775
  true,
4776
  false,
4777
  false,
 
4778
  false,
4779
  true,
4780
+ false,
4781
+ false,
4782
  false
4783
  ],
4784
  "model.encoder.layers.11.self_attn.k_proj.lora_E": [
 
4800
  false,
4801
  true,
4802
  false,
 
4803
  false,
4804
+ false,
4805
+ false,
4806
  false,
4807
  false,
4808
  false,
 
4832
  false,
4833
  false,
4834
  false,
4835
+ false,
4836
  false,
4837
  false,
4838
  false
 
4840
  "model.encoder.layers.12.fc1.lora_E": [
4841
  false,
4842
  false,
 
 
4843
  false,
4844
  true,
4845
+ false,
4846
  true,
4847
  true,
4848
  true,
4849
+ false,
4850
+ false,
4851
  false,
4852
  true
4853
  ],
4854
  "model.encoder.layers.12.fc2.lora_E": [
4855
  true,
4856
  false,
 
4857
  false,
 
4858
  false,
 
4859
  false,
4860
+ false,
4861
+ false,
4862
+ false,
4863
+ false,
4864
  false,
4865
  false,
4866
  true
 
4882
  "model.encoder.layers.12.self_attn.out_proj.lora_E": [
4883
  false,
4884
  true,
 
4885
  false,
4886
  false,
4887
+ false,
4888
+ false,
4889
  false,
4890
  false,
4891
  false,
 
4919
  false,
4920
  true,
4921
  false,
4922
+ false
4923
  ],
4924
  "model.encoder.layers.13.fc1.lora_E": [
4925
  true,
4926
  false,
 
4927
  false,
4928
+ false,
4929
+ false,
4930
  true,
4931
  false,
4932
  false,
 
4943
  true,
4944
  false,
4945
  false,
4946
+ false,
4947
+ false,
4948
  false,
4949
  true,
4950
  true
 
4967
  false,
4968
  false,
4969
  false,
4970
+ false,
4971
  false,
4972
  false,
4973
  false,
 
4997
  false,
4998
  false,
4999
  false,
 
5000
  false,
5001
+ false,
5002
+ false,
5003
  false,
5004
  false,
5005
  false,
5006
  true
5007
  ],
5008
  "model.encoder.layers.14.fc1.lora_E": [
 
5009
  true,
5010
  false,
 
 
 
5011
  false,
5012
  true,
5013
+ false,
5014
  true,
5015
+ false,
5016
  true,
5017
  false,
5018
+ false,
5019
+ true,
5020
  true
5021
  ],
5022
  "model.encoder.layers.14.fc2.lora_E": [
 
5026
  false,
5027
  true,
5028
  false,
5029
+ false,
5030
  true,
5031
  true,
5032
  true,
 
5052
  true,
5053
  false,
5054
  false,
5055
+ false,
5056
+ false,
5057
+ false,
5058
  true,
5059
  true,
5060
  false,
 
5078
  "model.encoder.layers.14.self_attn.v_proj.lora_E": [
5079
  false,
5080
  true,
5081
+ false,
5082
  true,
5083
+ false,
 
5084
  false,
5085
  true,
5086
  false,
 
5106
  "model.encoder.layers.15.fc2.lora_E": [
5107
  true,
5108
  false,
5109
+ false,
5110
  true,
5111
  true,
5112
  true,
 
5114
  true,
5115
  true,
5116
  false,
5117
+ false,
5118
  false
5119
  ],
5120
  "model.encoder.layers.15.self_attn.k_proj.lora_E": [
 
5141
  false,
5142
  false,
5143
  true,
5144
+ false,
5145
+ false,
5146
  false
5147
  ],
5148
  "model.encoder.layers.15.self_attn.q_proj.lora_E": [
 
5170
  true,
5171
  true,
5172
  false,
5173
+ false,
5174
  true
5175
  ],
5176
  "model.encoder.layers.16.fc1.lora_E": [
 
5217
  ],
5218
  "model.encoder.layers.16.self_attn.out_proj.lora_E": [
5219
  true,
5220
+ false,
5221
  true,
5222
  false,
5223
  true,
 
5226
  true,
5227
  false,
5228
  false,
5229
+ false,
5230
  true
5231
  ],
5232
  "model.encoder.layers.16.self_attn.q_proj.lora_E": [
 
5273
  ],
5274
  "model.encoder.layers.17.fc2.lora_E": [
5275
  true,
5276
+ false,
5277
  true,
5278
  true,
5279
  true,
 
5306
  false,
5307
  true,
5308
  true,
5309
+ false,
5310
  true,
5311
  true,
5312
  true,
 
5384
  false
5385
  ],
5386
  "model.encoder.layers.18.self_attn.out_proj.lora_E": [
5387
+ false,
5388
+ false,
5389
  true,
5390
  false,
5391
  false,
 
5393
  true,
5394
  true,
5395
  true,
5396
+ false,
5397
+ false,
5398
  false
5399
  ],
5400
  "model.encoder.layers.18.self_attn.q_proj.lora_E": [
 
5471
  false,
5472
  false,
5473
  false,
 
5474
  false,
5475
  false,
5476
+ false,
5477
+ false,
5478
  false,
5479
  false,
5480
  false,
 
5504
  true,
5505
  true,
5506
  false,
5507
+ false,
5508
  true,
5509
  true,
5510
  true
 
5524
  false
5525
  ],
5526
  "model.encoder.layers.2.fc2.lora_E": [
 
5527
  false,
5528
  false,
5529
  false,
 
5530
  false,
5531
  false,
5532
+ false,
5533
+ false,
5534
+ false,
5535
  false,
5536
  false,
5537
  false,
 
5554
  "model.encoder.layers.2.self_attn.out_proj.lora_E": [
5555
  false,
5556
  false,
5557
+ false,
5558
  false,
5559
  false,
5560
  false,
 
5636
  false
5637
  ],
5638
  "model.encoder.layers.20.self_attn.out_proj.lora_E": [
 
5639
  true,
5640
  false,
5641
+ false,
5642
  true,
5643
  true,
5644
+ false,
5645
  true,
5646
  true,
5647
+ false,
 
5648
  true,
5649
  false,
5650
  true
 
5666
  "model.encoder.layers.20.self_attn.v_proj.lora_E": [
5667
  true,
5668
  true,
5669
+ false,
5670
  true,
5671
  true,
5672
  true,
5673
  false,
5674
  false,
5675
+ false,
5676
  true,
5677
  false,
5678
  true
 
5685
  true,
5686
  true,
5687
  false,
5688
+ false,
5689
  false,
5690
  false,
5691
  true,
 
5703
  true,
5704
  true,
5705
  true,
5706
+ false
5707
  ],
5708
  "model.encoder.layers.21.self_attn.k_proj.lora_E": [
5709
  false,
 
5720
  false
5721
  ],
5722
  "model.encoder.layers.21.self_attn.out_proj.lora_E": [
 
5723
  false,
5724
+ false,
5725
+ false,
 
5726
  true,
5727
  false,
5728
  false,
5729
+ false,
5730
+ false,
5731
  true,
5732
  true,
5733
  false,
 
5804
  false
5805
  ],
5806
  "model.encoder.layers.22.self_attn.out_proj.lora_E": [
5807
+ false,
 
 
 
5808
  false,
5809
  true,
5810
+ false,
5811
+ false,
5812
  true,
5813
  true,
5814
  true,
5815
  true,
5816
  false,
5817
+ false,
5818
  true
5819
  ],
5820
  "model.encoder.layers.22.self_attn.q_proj.lora_E": [
 
5835
  false,
5836
  true,
5837
  true,
5838
+ false,
5839
  true,
5840
+ false,
5841
+ false,
 
5842
  true,
5843
  true,
5844
  false,
5845
  true,
5846
+ false
5847
  ],
5848
  "model.encoder.layers.23.fc1.lora_E": [
5849
  true,
 
5888
  false
5889
  ],
5890
  "model.encoder.layers.23.self_attn.out_proj.lora_E": [
5891
+ false,
5892
  true,
5893
  true,
5894
  true,
 
5897
  true,
5898
  true,
5899
  false,
5900
+ false,
5901
  true,
5902
  true
5903
  ],
 
5974
  "model.encoder.layers.24.self_attn.out_proj.lora_E": [
5975
  true,
5976
  true,
5977
+ false,
5978
+ false,
5979
+ false,
5980
  true,
5981
+ false,
 
 
 
5982
  true,
5983
  true,
5984
  false,
 
5990
  false,
5991
  false,
5992
  false,
5993
+ false,
5994
  false,
5995
  false,
5996
  false,
 
6056
  false
6057
  ],
6058
  "model.encoder.layers.25.self_attn.out_proj.lora_E": [
 
 
 
6059
  true,
6060
  false,
6061
  true,
6062
+ false,
6063
+ false,
6064
  false,
6065
  true,
6066
  false,
6067
+ false,
6068
+ false,
6069
+ false,
6070
  true
6071
  ],
6072
  "model.encoder.layers.25.self_attn.q_proj.lora_E": [
6073
  false,
6074
  false,
6075
  false,
6076
+ false,
6077
  false,
6078
  false,
6079
  false,
 
6085
  ],
6086
  "model.encoder.layers.25.self_attn.v_proj.lora_E": [
6087
  true,
6088
+ false,
6089
  true,
6090
  false,
6091
  true,
 
6140
  false
6141
  ],
6142
  "model.encoder.layers.26.self_attn.out_proj.lora_E": [
 
 
6143
  false,
6144
  true,
6145
  false,
6146
+ false,
 
 
6147
  false,
6148
  true,
6149
+ false,
6150
+ false,
6151
+ false,
6152
  true,
6153
+ false,
6154
+ false
6155
  ],
6156
  "model.encoder.layers.26.self_attn.q_proj.lora_E": [
6157
  false,
 
6224
  false
6225
  ],
6226
  "model.encoder.layers.27.self_attn.out_proj.lora_E": [
 
 
6227
  true,
6228
  true,
6229
  false,
6230
+ false,
6231
+ false,
6232
  true,
6233
  true,
6234
  true,
6235
  true,
6236
  false,
6237
  false,
6238
+ false
6239
  ],
6240
  "model.encoder.layers.27.self_attn.q_proj.lora_E": [
6241
  false,
 
6312
  true,
6313
  false,
6314
  true,
6315
+ false,
6316
  true,
6317
  true,
6318
  true,
 
6332
  false,
6333
  false,
6334
  false,
6335
+ false,
6336
  false
6337
  ],
6338
  "model.encoder.layers.28.self_attn.v_proj.lora_E": [
 
6392
  false
6393
  ],
6394
  "model.encoder.layers.29.self_attn.out_proj.lora_E": [
6395
+ false,
6396
  true,
6397
  true,
6398
  true,
 
6417
  false,
6418
  false,
6419
  false,
6420
+ false
6421
  ],
6422
  "model.encoder.layers.29.self_attn.v_proj.lora_E": [
6423
  true,
 
6448
  false
6449
  ],
6450
  "model.encoder.layers.3.fc2.lora_E": [
 
6451
  false,
6452
  false,
6453
  false,
6454
  false,
6455
+ false,
6456
+ false,
6457
  false,
6458
  true,
6459
  false,
6460
  false,
6461
  false,
6462
+ false
6463
  ],
6464
  "model.encoder.layers.3.self_attn.k_proj.lora_E": [
6465
  false,
 
6546
  true
6547
  ],
6548
  "model.encoder.layers.30.self_attn.k_proj.lora_E": [
 
6549
  false,
6550
  false,
6551
  false,
6552
  false,
6553
  false,
6554
+ false,
6555
+ false,
6556
  false,
6557
  false,
6558
  false,
 
6564
  true,
6565
  true,
6566
  true,
6567
+ false,
6568
  true,
6569
  true,
6570
  true,
6571
  true,
6572
  true,
6573
  true,
6574
+ false
 
6575
  ],
6576
  "model.encoder.layers.30.self_attn.q_proj.lora_E": [
6577
  false,
 
6592
  true,
6593
  true,
6594
  true,
 
6595
  false,
6596
+ false,
6597
+ false,
6598
  true,
6599
  true,
6600
  true,
 
6653
  true,
6654
  true,
6655
  true,
6656
+ false,
6657
  true,
6658
  true
6659
  ],
 
6676
  true,
6677
  true,
6678
  true,
6679
+ false,
6680
  true,
6681
+ false,
 
6682
  true,
6683
  true,
6684
  true,
 
6705
  false,
6706
  false,
6707
  false,
 
6708
  false,
6709
  false,
6710
  false,
 
6711
  false,
6712
+ false,
6713
+ false,
6714
+ false
6715
  ],
6716
  "model.encoder.layers.4.self_attn.k_proj.lora_E": [
6717
  false,
 
6784
  false
6785
  ],
6786
  "model.encoder.layers.5.fc2.lora_E": [
 
 
 
6787
  false,
6788
  false,
6789
+ false,
6790
+ false,
6791
+ false,
6792
+ false,
6793
  false,
6794
  false,
6795
  false,
 
6855
  ],
6856
  "model.encoder.layers.6.fc1.lora_E": [
6857
  false,
6858
+ false,
6859
  false,
6860
  false,
6861
  false,
 
6868
  false
6869
  ],
6870
  "model.encoder.layers.6.fc2.lora_E": [
 
6871
  false,
6872
  false,
 
6873
  false,
6874
  false,
6875
  false,
6876
  false,
6877
+ false,
6878
+ false,
6879
+ false,
6880
  false,
6881
  false,
6882
  false
 
6948
  false,
6949
  false,
6950
  false,
6951
+ false,
6952
  false
6953
  ],
6954
  "model.encoder.layers.7.fc2.lora_E": [
6955
  false,
6956
  false,
6957
+ false,
6958
  false,
6959
  false,
6960
  false,
 
7032
  false,
7033
  false,
7034
  false,
7035
+ false,
7036
  false
7037
  ],
7038
  "model.encoder.layers.8.fc2.lora_E": [
 
7046
  false,
7047
  false,
7048
  false,
7049
+ false,
7050
+ false
7051
  ],
7052
  "model.encoder.layers.8.self_attn.k_proj.lora_E": [
7053
  false,
 
7103
  false,
7104
  false,
7105
  true,
7106
+ false
7107
  ],
7108
  "model.encoder.layers.9.fc1.lora_E": [
7109
  false,
 
7182
  false,
7183
  false,
7184
  false,
7185
+ false,
7186
  false,
7187
  false,
7188
  false,
best_checkpoint/adapter_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f96bc8d0efa4ed3b72363a8b6e6245ae06fe7b04c8157e9cf65d4b44169d315c
3
- size 46677349
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:86a83d9a47f40e1464b3d8481b35368c56b1ccba7af39a4387fe118f7a4a774a
3
+ size 39759077
best_checkpoint/optimizer.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ff8584844f4779354e34fc82b8d0a7e5b9500c972a1b6e1143d0112388e44365
3
  size 174313245
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e9465384c01e92ebb25333aa3297162276b8af180896ffd1bb2db8e6a3e591d9
3
  size 174313245
best_checkpoint/random_states_0.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e8c5dea941a2e12c751854c478834e263c5e428869fe66bf3ce767ea4910fd88
3
  size 15691
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c1ebae8ec09cc01dbd216b432363c6c4d19d5534bbe0b3b2e91e313b565ad225
3
  size 15691
best_checkpoint/random_states_1.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ed386278e818b547a593045841a0b2eb2e011433825291261654422433d4fa53
3
  size 15755
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ae1abcc81f22a2197736407e63cb346b77d7ab9e43f613e4d3f145fa96c25914
3
  size 15755
best_checkpoint/scheduler.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:42d5d146be87270e45087af026d6b6b0ffddb879653b1b4f9ed65e73a9d8afb1
3
  size 563
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9dbb9f2875f084068aff5c253a66050e52a4312087f10ca7744dceeed4e23c44
3
  size 563