Training in progress epoch 12

README.md

@@ -222,6 +222,18 @@ The following `bitsandbytes` quantization config was used during training:
 - bnb_4bit_use_double_quant: False
 - bnb_4bit_compute_dtype: float32
 
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: bitsandbytes
+- load_in_8bit: True
+- load_in_4bit: False
+- llm_int8_threshold: 6.0
+- llm_int8_skip_modules: None
+- llm_int8_enable_fp32_cpu_offload: False
+- llm_int8_has_fp16_weight: False
+- bnb_4bit_quant_type: fp4
+- bnb_4bit_use_double_quant: False
+- bnb_4bit_compute_dtype: float32
+
 The following `bitsandbytes` quantization config was used during training:
 - quant_method: bitsandbytes
 - load_in_8bit: True
@@ -266,6 +278,7 @@ The following `bitsandbytes` quantization config was used during training:
 - PEFT 0.5.0
 - PEFT 0.5.0
 - PEFT 0.5.0
+- PEFT 0.5.0
 
 - PEFT 0.5.0.dev0
  `bitsandbytes` quantization config was used during training:

Whisper PEFT Fine-Tuning/events.out.tfevents.1696436338.MLbox.300106.0

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e6d2a32c478bd3af1bda4d43b278ad5f49eeda683234929202024f740645a812
-size 6340
+oid sha256:d89c069b2c137ab229796abe4bdf6c2efe4f3aa39d24f55f5565cfacd537912f
+size 6499

adapter_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6af3df148b3ebd99b3b055a4741c5bb191ebece2eff08728b401ca84e4f8c422
+oid sha256:65d80930d925b4e715d03676bfaeb402bacbfb17179871279ad7bee0313dea94
 size 38697637

best_checkpoint/README.md

@@ -436,6 +436,18 @@ The following `bitsandbytes` quantization config was used during training:
 - bnb_4bit_use_double_quant: False
 - bnb_4bit_compute_dtype: float32
 
+The following `bitsandbytes` quantization config was used during training:
+- quant_method: bitsandbytes
+- load_in_8bit: True
+- load_in_4bit: False
+- llm_int8_threshold: 6.0
+- llm_int8_skip_modules: None
+- llm_int8_enable_fp32_cpu_offload: False
+- llm_int8_has_fp16_weight: False
+- bnb_4bit_quant_type: fp4
+- bnb_4bit_use_double_quant: False
+- bnb_4bit_compute_dtype: float32
+
 The following `bitsandbytes` quantization config was used during training:
 - quant_method: bitsandbytes
 - load_in_8bit: True
@@ -485,5 +497,6 @@ The following `bitsandbytes` quantization config was used during training:
 - PEFT 0.5.0
 - PEFT 0.5.0
 - PEFT 0.5.0
+- PEFT 0.5.0
 
 - PEFT 0.5.0

best_checkpoint/adapter_config.json

@@ -73,7 +73,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       true
     ],
@@ -102,7 +102,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true
     ],
     "model.decoder.layers.0.self_attn.k_proj.lora_E": [
@@ -215,7 +215,7 @@
       false,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.1.fc1.lora_E": [
       true,
@@ -411,7 +411,7 @@
       true,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.10.self_attn.q_proj.lora_E": [
       false,
@@ -504,7 +504,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -550,7 +550,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true
     ],
     "model.decoder.layers.11.self_attn.q_proj.lora_E": [
@@ -574,7 +574,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -641,7 +641,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -666,7 +666,7 @@
       true
     ],
     "model.decoder.layers.12.self_attn.k_proj.lora_E": [
-      true,
+      false,
       false,
       false,
       false,
@@ -683,14 +683,14 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
       false,
       true,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.12.self_attn.q_proj.lora_E": [
@@ -747,7 +747,7 @@
       false,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.13.encoder_attn.q_proj.lora_E": [
       false,
@@ -770,8 +770,8 @@
       false,
       true,
       true,
-      true,
       false,
+      true,
       false,
       true,
       true,
@@ -823,9 +823,9 @@
       false,
       false,
       true,
-      false,
       true,
       false,
+      false,
       true,
       false,
       true,
@@ -962,7 +962,7 @@
     "model.decoder.layers.14.self_attn.out_proj.lora_E": [
       false,
       true,
-      true,
+      false,
       true,
       false,
       false,
@@ -1108,7 +1108,7 @@
       true,
       true,
       false,
-      true,
+      false,
       false,
       false,
       true
@@ -1135,8 +1135,8 @@
       true,
       false,
       false,
-      true,
-      true,
+      false,
+      false,
       true,
       true,
       false
@@ -1157,12 +1157,12 @@
     ],
     "model.decoder.layers.16.encoder_attn.out_proj.lora_E": [
       false,
-      true,
+      false,
       false,
       false,
       false,
       true,
-      true,
+      false,
       false,
       false,
       false,
@@ -1181,7 +1181,7 @@
       false,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.16.encoder_attn.v_proj.lora_E": [
       true,
@@ -1221,7 +1221,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true
     ],
@@ -1272,7 +1272,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -1296,10 +1296,9 @@
       false
     ],
     "model.decoder.layers.17.encoder_attn.out_proj.lora_E": [
-      false,
-      false,
       true,
       false,
+      true,
       false,
       false,
       false,
@@ -1307,6 +1306,7 @@
       false,
       false,
       false,
+      true,
       false
     ],
     "model.decoder.layers.17.encoder_attn.q_proj.lora_E": [
@@ -1329,7 +1329,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -1375,7 +1375,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false
     ],
@@ -1461,7 +1461,7 @@
       false,
       false,
       false,
-      false
+      true
     ],
     "model.decoder.layers.18.encoder_attn.v_proj.lora_E": [
       true,
@@ -1471,7 +1471,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -1503,7 +1503,7 @@
       true,
       true,
       false,
-      true
+      false
     ],
     "model.decoder.layers.18.self_attn.k_proj.lora_E": [
       false,
@@ -1521,7 +1521,7 @@
     ],
     "model.decoder.layers.18.self_attn.out_proj.lora_E": [
       true,
-      false,
+      true,
       true,
       false,
       true,
@@ -1552,7 +1552,7 @@
       false,
       true,
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -1610,7 +1610,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -1656,20 +1656,20 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.19.self_attn.out_proj.lora_E": [
       true,
       false,
       false,
-      true,
       false,
-      true,
       false,
+      true,
       false,
       false,
       true,
+      true,
       false,
       false
     ],
@@ -1726,7 +1726,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.2.encoder_attn.q_proj.lora_E": [
@@ -1810,7 +1810,7 @@
       false,
       true,
       true,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.2.self_attn.q_proj.lora_E": [
@@ -1861,9 +1861,9 @@
       false,
       true,
       true,
-      false,
       true,
-      false,
+      true,
+      true,
       true,
       true,
       true,
@@ -1922,11 +1922,11 @@
       true,
       true,
       true,
-      false,
+      true,
       true
     ],
     "model.decoder.layers.20.self_attn.k_proj.lora_E": [
-      true,
+      false,
       true,
       true,
       true,
@@ -2136,7 +2136,7 @@
       false
     ],
     "model.decoder.layers.22.encoder_attn.out_proj.lora_E": [
-      false,
+      true,
       true,
       false,
       true,
@@ -2221,13 +2221,13 @@
     ],
     "model.decoder.layers.22.self_attn.out_proj.lora_E": [
       false,
-      true,
       false,
-      true,
       false,
       true,
       false,
+      false,
       true,
+      false,
       true,
       false,
       true,
@@ -2258,8 +2258,8 @@
       true,
       true,
       false,
-      false,
-      true
+      true,
+      false
     ],
     "model.decoder.layers.23.encoder_attn.k_proj.lora_E": [
       false,
@@ -2349,13 +2349,13 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
       true,
       false,
-      true,
+      false,
       false,
       true
     ],
@@ -2364,7 +2364,7 @@
       true,
       true,
       true,
-      true,
+      false,
       false,
       false,
       true,
@@ -2395,10 +2395,10 @@
       true,
       false,
       true,
-      true,
-      true,
+      false,
       true,
       false,
+      false,
       true
     ],
     "model.decoder.layers.24.encoder_attn.k_proj.lora_E": [
@@ -2483,7 +2483,7 @@
       true,
       false,
       false,
-      true
+      false
     ],
     "model.decoder.layers.24.self_attn.k_proj.lora_E": [
       true,
@@ -2492,12 +2492,12 @@
       true,
       true,
       true,
-      false,
       true,
       true,
       true,
       true,
-      false
+      true,
+      true
     ],
     "model.decoder.layers.24.self_attn.out_proj.lora_E": [
       true,
@@ -2558,12 +2558,12 @@
     "model.decoder.layers.25.encoder_attn.out_proj.lora_E": [
       true,
       true,
-      false,
+      true,
       true,
       false,
       false,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -2621,20 +2621,20 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true
     ],
     "model.decoder.layers.25.self_attn.k_proj.lora_E": [
       true,
-      false,
+      true,
       true,
       true,
       false,
       true,
       true,
-      false,
-      false,
+      true,
+      true,
       true,
       true,
       false
@@ -2706,7 +2706,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true
     ],
     "model.decoder.layers.26.encoder_attn.q_proj.lora_E": [
@@ -2766,7 +2766,7 @@
       false
     ],
     "model.decoder.layers.26.self_attn.k_proj.lora_E": [
-      false,
+      true,
       true,
       false,
       true,
@@ -2782,7 +2782,7 @@
     "model.decoder.layers.26.self_attn.out_proj.lora_E": [
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -2796,7 +2796,7 @@
     "model.decoder.layers.26.self_attn.q_proj.lora_E": [
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -2811,11 +2811,11 @@
       false,
       true,
       false,
-      false,
+      true,
       true,
       false,
       false,
-      true,
+      false,
       true,
       true,
       false,
@@ -2921,7 +2921,7 @@
     ],
     "model.decoder.layers.27.self_attn.out_proj.lora_E": [
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -2948,7 +2948,7 @@
       false
     ],
     "model.decoder.layers.27.self_attn.v_proj.lora_E": [
-      false,
+      true,
       true,
       false,
       false,
@@ -2981,11 +2981,11 @@
       true,
       true,
       true,
-      true,
-      true,
       false,
       true,
+      false,
       true,
+      false,
       true,
       true
     ],
@@ -3046,7 +3046,7 @@
       true
     ],
     "model.decoder.layers.28.self_attn.k_proj.lora_E": [
-      true,
+      false,
       true,
       true,
       false,
@@ -3097,7 +3097,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       true
     ],
@@ -3122,7 +3122,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -3191,7 +3191,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false,
@@ -3210,7 +3210,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.29.self_attn.q_proj.lora_E": [
@@ -3259,14 +3259,14 @@
       true,
       true,
       false,
-      false,
       true,
       false,
+      false,
       true,
       true,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.decoder.layers.3.encoder_attn.q_proj.lora_E": [
@@ -3368,7 +3368,6 @@
       false
     ],
     "model.decoder.layers.3.self_attn.v_proj.lora_E": [
-      true,
       false,
       false,
       false,
@@ -3377,8 +3376,9 @@
       false,
       false,
       false,
-      true,
       false,
+      true,
+      true,
       false
     ],
     "model.decoder.layers.30.encoder_attn.k_proj.lora_E": [
@@ -3404,7 +3404,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false
@@ -3432,7 +3432,7 @@
       true,
       true,
       false,
-      true,
+      false,
       true,
       true,
       true
@@ -3475,7 +3475,7 @@
       false,
       true,
       false,
-      true,
+      false,
       true,
       true
     ],
@@ -3517,7 +3517,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       true
     ],
@@ -3584,7 +3584,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       true,
       true,
@@ -3686,7 +3686,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.4.encoder_attn.q_proj.lora_E": [
@@ -3705,7 +3705,7 @@
     ],
     "model.decoder.layers.4.encoder_attn.v_proj.lora_E": [
       true,
-      false,
+      true,
       false,
       false,
       false,
@@ -3714,7 +3714,7 @@
       true,
       false,
       true,
-      false,
+      true,
       false
     ],
     "model.decoder.layers.4.fc1.lora_E": [
@@ -3853,7 +3853,7 @@
       false,
       true,
       true,
-      false,
+      true,
       false,
       true
     ],
@@ -4069,7 +4069,7 @@
     ],
     "model.decoder.layers.6.self_attn.v_proj.lora_E": [
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -4079,7 +4079,7 @@
       false,
       true,
       false,
-      false
+      true
     ],
     "model.decoder.layers.7.encoder_attn.k_proj.lora_E": [
       false,
@@ -4149,7 +4149,7 @@
       true,
       true,
       true,
-      false
+      true
     ],
     "model.decoder.layers.7.fc2.lora_E": [
       true,
@@ -4428,7 +4428,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true
     ],
     "model.decoder.layers.9.fc2.lora_E": [
@@ -4496,9 +4496,9 @@
       true,
       false,
       false,
+      true,
       false,
       false,
-      true,
       false
     ],
     "model.encoder.layers.0.fc1.lora_E": [
@@ -4526,7 +4526,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false
     ],
     "model.encoder.layers.0.self_attn.k_proj.lora_E": [
@@ -4550,8 +4550,8 @@
       true,
       false,
       false,
-      false,
-      false,
+      true,
+      true,
       false,
       false,
       false,
@@ -4772,13 +4772,13 @@
       false,
       true,
       true,
-      true,
       false,
       false,
       false,
-      true,
       false,
       true,
+      false,
+      false,
       false
     ],
     "model.encoder.layers.11.self_attn.k_proj.lora_E": [
@@ -4832,7 +4832,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false
@@ -4885,7 +4885,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -4926,7 +4926,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true,
       false,
       false,
@@ -4943,7 +4943,7 @@
       true,
       false,
       false,
-      true,
+      false,
       false,
       false,
       true,
@@ -4967,7 +4967,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -5003,7 +5003,7 @@
       false,
       false,
       false,
-      false
+      true
     ],
     "model.encoder.layers.14.fc1.lora_E": [
       true,
@@ -5016,7 +5016,7 @@
       true,
       false,
       false,
-      false,
+      true,
       true
     ],
     "model.encoder.layers.14.fc2.lora_E": [
@@ -5056,7 +5056,7 @@
       false,
       false,
       true,
-      false,
+      true,
       false,
       true,
       false
@@ -5136,11 +5136,11 @@
       true,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false
@@ -5168,7 +5168,7 @@
       false,
       false,
       true,
-      false,
+      true,
       false,
       false,
       true
@@ -5226,7 +5226,7 @@
       false,
       false,
       false,
-      true,
+      false,
       true
     ],
     "model.encoder.layers.16.self_attn.q_proj.lora_E": [
@@ -5307,9 +5307,9 @@
       true,
       true,
       false,
-      false,
       true,
-      false,
+      true,
+      true,
       true,
       true
     ],
@@ -5391,7 +5391,7 @@
       false,
       false,
       false,
-      false,
+      true,
       true,
       false,
       false,
@@ -5474,7 +5474,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -5729,7 +5729,7 @@
       false,
       false,
       true,
-      true,
+      false,
       false,
       false
     ],
@@ -5806,7 +5806,7 @@
     "model.encoder.layers.22.self_attn.out_proj.lora_E": [
       false,
       false,
-      false,
+      true,
       false,
       false,
       true,
@@ -5893,7 +5893,7 @@
       true,
       true,
       false,
-      false,
+      true,
       true,
       true,
       false,
@@ -5917,7 +5917,7 @@
     ],
     "model.encoder.layers.23.self_attn.v_proj.lora_E": [
       true,
-      false,
+      true,
       false,
       false,
       true,
@@ -6092,7 +6092,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true
@@ -6227,7 +6227,7 @@
       true,
       true,
       false,
-      true,
+      false,
       false,
       true,
       true,
@@ -6400,7 +6400,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true
@@ -6425,7 +6425,7 @@
       true,
       true,
       true,
-      false,
+      true,
       true,
       true,
       true,
@@ -6564,7 +6564,7 @@
       true,
       true,
       true,
-      true,
+      false,
       true,
       true,
       true,
@@ -6649,8 +6649,8 @@
       false,
       false,
       true,
-      false,
       true,
+      false,
       true,
       true,
       false,
@@ -6677,13 +6677,13 @@
       true,
       true,
       false,
-      false,
+      true,
       false,
       true,
       true,
       true,
       true,
-      true
+      false
     ],
     "model.encoder.layers.4.fc1.lora_E": [
       false,
@@ -6871,7 +6871,7 @@
       false,
       false,
       false,
-      true,
+      false,
       false,
       false,
       false,
@@ -7040,7 +7040,7 @@
       false,
       false,
       false,
-      false,
+      true,
       false,
       false,
       false,
@@ -7129,8 +7129,8 @@
       false,
       false,
       false,
-      false,
-      false,
+      true,
+      true,
       false
     ],
     "model.encoder.layers.9.self_attn.k_proj.lora_E": [

best_checkpoint/adapter_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1a230cceee43a69525dbd7c377779c007f5c895483ddcb17f4df8654dd5c3efb
-size 38697637
+oid sha256:e2248cbedac022f9667331f4d7f02d3ebdf7053aef41b47475a56d5634d6a4c9
+size 38590501

best_checkpoint/optimizer.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:89f55dd801640b071badb2dfe8a3bf36c3a5a4d27e0a1f58cba3cf766b189fe1
+oid sha256:9ba1a72dbc14fd480409b34e571ffa1331d2869156bb56490067355837f68609
 size 174313245

best_checkpoint/random_states_0.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:deee05d4c67b9f221c3601194f47b65ccdfa7ddc85f5c16a149c0a2610982803
+oid sha256:09fb3a9c47bcee4222b4a84c573a64bb367860e2a8c76d82c2e5cbbfb2d259fd
 size 15691

best_checkpoint/scheduler.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a27be7d8ebde5aeca12cdbf3aabadc57e7115c3ca71c0bcd471a3f7be3d65e14
+oid sha256:f5c63e875be990ffb02536f885221333e79ae0818e63434d60e23723fe26da05
 size 563