Hugging Face's logo

henryscheible
/
gpt2_stereoset_classifieronly

Text Classification
Transformers
PyTorch
gpt2
Generated from Trainer
Eval Results
text-generation-inference
Inference Endpoints
Model card Files Community
gpt2_stereoset_classifieronly / README.md
henryscheible's picture
henryscheible
update model card README.md
57a68d3
preview code
|
raw
history blame
13.2 kB
metadata
license: mit
tags:
  - generated_from_trainer
datasets:
  - stereoset
metrics:
  - accuracy
model-index:
  - name: gpt2_stereoset_classifieronly
    results:
      - task:
          name: Text Classification
          type: text-classification
        dataset:
          name: stereoset
          type: stereoset
          config: intersentence
          split: validation
          args: intersentence
        metrics:
          - name: Accuracy
            type: accuracy
            value: 0.5023547880690737

gpt2_stereoset_classifieronly

This model is a fine-tuned version of gpt2 on the stereoset dataset. It achieves the following results on the evaluation set:

  • Loss: 0.7039
  • Accuracy: 0.5024
  • Tp: 0.2732
  • Tn: 0.2292
  • Fp: 0.2857
  • Fn: 0.2119

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 50

Training results

Training Loss Epoch Step Validation Loss Accuracy Tp Tn Fp Fn
0.7235 0.43 20 0.7240 0.5133 0.3163 0.1970 0.3179 0.1688
0.7247 0.85 40 0.7156 0.5204 0.2386 0.2818 0.2331 0.2465
0.7237 1.28 60 0.7167 0.5133 0.2841 0.2292 0.2857 0.2009
0.7396 1.7 80 0.7158 0.5126 0.2896 0.2229 0.2920 0.1954
0.7144 2.13 100 0.7120 0.5267 0.2504 0.2763 0.2386 0.2347
0.7122 2.55 120 0.7108 0.5275 0.2394 0.2881 0.2268 0.2457
0.7356 2.98 140 0.7109 0.5212 0.2567 0.2645 0.2504 0.2284
0.7232 3.4 160 0.7097 0.5228 0.1962 0.3265 0.1884 0.2889
0.6975 3.83 180 0.7105 0.5204 0.2700 0.2504 0.2645 0.2151
0.7329 4.26 200 0.7092 0.5212 0.2410 0.2802 0.2347 0.2441
0.7158 4.68 220 0.7101 0.5110 0.2786 0.2323 0.2826 0.2064
0.7136 5.11 240 0.7086 0.5181 0.2504 0.2677 0.2473 0.2347
0.7172 5.53 260 0.7086 0.5212 0.1648 0.3564 0.1586 0.3203
0.7328 5.96 280 0.7135 0.4874 0.3320 0.1554 0.3595 0.1531
0.7275 6.38 300 0.7096 0.5024 0.2975 0.2049 0.3100 0.1876
0.7186 6.81 320 0.7075 0.5212 0.1672 0.3540 0.1609 0.3179
0.718 7.23 340 0.7063 0.5102 0.2339 0.2763 0.2386 0.2512
0.7102 7.66 360 0.7057 0.5126 0.2284 0.2841 0.2308 0.2567
0.7186 8.09 380 0.7091 0.4953 0.3053 0.1900 0.3250 0.1797
0.7119 8.51 400 0.7066 0.5031 0.2567 0.2465 0.2684 0.2284
0.711 8.94 420 0.7059 0.5078 0.2418 0.2661 0.2488 0.2433
0.7183 9.36 440 0.7053 0.5141 0.2190 0.2951 0.2198 0.2661
0.7126 9.79 460 0.7051 0.5149 0.2190 0.2959 0.2190 0.2661
0.7131 10.21 480 0.7060 0.5024 0.2645 0.2378 0.2771 0.2206
0.7037 10.64 500 0.7049 0.5 0.2535 0.2465 0.2684 0.2316
0.6955 11.06 520 0.7063 0.4890 0.2786 0.2104 0.3046 0.2064
0.7125 11.49 540 0.7058 0.4898 0.2739 0.2159 0.2991 0.2111
0.6999 11.91 560 0.7039 0.5196 0.1915 0.3281 0.1868 0.2936
0.6898 12.34 580 0.7046 0.5063 0.2410 0.2653 0.2496 0.2441
0.7017 12.77 600 0.7061 0.4898 0.2669 0.2229 0.2920 0.2182
0.7106 13.19 620 0.7051 0.5078 0.2473 0.2606 0.2543 0.2378
0.6795 13.62 640 0.7087 0.4929 0.3171 0.1758 0.3391 0.1680
0.7016 14.04 660 0.7044 0.5118 0.2025 0.3093 0.2057 0.2826
0.7009 14.47 680 0.7069 0.4914 0.2975 0.1939 0.3210 0.1876
0.6967 14.89 700 0.7044 0.5047 0.2504 0.2543 0.2606 0.2347
0.7006 15.32 720 0.7046 0.5016 0.2488 0.2527 0.2622 0.2363
0.7049 15.74 740 0.7053 0.4984 0.2653 0.2331 0.2818 0.2198
0.6988 16.17 760 0.7037 0.5086 0.2214 0.2873 0.2276 0.2637
0.717 16.6 780 0.7045 0.5149 0.1578 0.3571 0.1578 0.3273
0.6905 17.02 800 0.7116 0.4890 0.3619 0.1272 0.3878 0.1232
0.701 17.45 820 0.7041 0.5024 0.2582 0.2441 0.2708 0.2268
0.6868 17.87 840 0.7043 0.5039 0.2575 0.2465 0.2684 0.2276
0.6866 18.3 860 0.7041 0.5055 0.2527 0.2527 0.2622 0.2323
0.6969 18.72 880 0.7058 0.5008 0.2967 0.2041 0.3108 0.1884
0.6895 19.15 900 0.7041 0.5016 0.2559 0.2457 0.2692 0.2292
0.7065 19.57 920 0.7033 0.5071 0.2072 0.2998 0.2151 0.2779
0.6806 20.0 940 0.7058 0.4969 0.3046 0.1923 0.3226 0.1805
0.7007 20.43 960 0.7033 0.5016 0.2363 0.2653 0.2496 0.2488
0.7004 20.85 980 0.7066 0.4906 0.3148 0.1758 0.3391 0.1703
0.7054 21.28 1000 0.7059 0.4898 0.2959 0.1939 0.3210 0.1892
0.6933 21.7 1020 0.7034 0.5016 0.2496 0.2520 0.2630 0.2355
0.694 22.13 1040 0.7065 0.4922 0.3171 0.1750 0.3399 0.1680
0.696 22.55 1060 0.7034 0.4961 0.2457 0.2504 0.2645 0.2394
0.6904 22.98 1080 0.7039 0.5008 0.2653 0.2355 0.2794 0.2198
0.7095 23.4 1100 0.7044 0.4984 0.2763 0.2221 0.2928 0.2088
0.7079 23.83 1120 0.7043 0.5008 0.2802 0.2206 0.2943 0.2049
0.6991 24.26 1140 0.7053 0.4992 0.3069 0.1923 0.3226 0.1782
0.7001 24.68 1160 0.7032 0.4992 0.2512 0.2480 0.2669 0.2339
0.6855 25.11 1180 0.7032 0.5016 0.2457 0.2559 0.2590 0.2394
0.6921 25.53 1200 0.7038 0.5 0.2700 0.2300 0.2849 0.2151
0.7019 25.96 1220 0.7028 0.5016 0.2284 0.2732 0.2418 0.2567
0.707 26.38 1240 0.7036 0.4984 0.2645 0.2339 0.2810 0.2206
0.694 26.81 1260 0.7026 0.5063 0.2394 0.2669 0.2480 0.2457
0.6928 27.23 1280 0.7040 0.5063 0.2834 0.2229 0.2920 0.2017
0.6922 27.66 1300 0.7046 0.5086 0.2991 0.2096 0.3053 0.1860
0.7018 28.09 1320 0.7035 0.5039 0.2677 0.2363 0.2786 0.2174
0.7018 28.51 1340 0.7042 0.5055 0.2841 0.2214 0.2936 0.2009
0.7004 28.94 1360 0.7026 0.5031 0.2292 0.2739 0.2410 0.2559
0.7006 29.36 1380 0.7032 0.5008 0.2527 0.2480 0.2669 0.2323
0.6912 29.79 1400 0.7043 0.5031 0.2802 0.2229 0.2920 0.2049
0.7098 30.21 1420 0.7042 0.5071 0.2920 0.2151 0.2998 0.1931
0.6909 30.64 1440 0.7026 0.5055 0.2473 0.2582 0.2567 0.2378
0.6822 31.06 1460 0.7025 0.5071 0.2410 0.2661 0.2488 0.2441
0.6888 31.49 1480 0.7031 0.5024 0.2637 0.2386 0.2763 0.2214
0.6931 31.91 1500 0.7022 0.5024 0.2237 0.2786 0.2363 0.2614
0.6885 32.34 1520 0.7050 0.5031 0.3116 0.1915 0.3234 0.1735
0.6965 32.77 1540 0.7035 0.5047 0.2622 0.2425 0.2724 0.2229
0.7038 33.19 1560 0.7029 0.5078 0.2512 0.2567 0.2582 0.2339
0.6867 33.62 1580 0.7026 0.5047 0.2370 0.2677 0.2473 0.2480
0.6855 34.04 1600 0.7044 0.5031 0.3022 0.2009 0.3140 0.1829
0.6921 34.47 1620 0.7060 0.4976 0.3242 0.1735 0.3414 0.1609
0.693 34.89 1640 0.7033 0.5126 0.2763 0.2363 0.2786 0.2088
0.6838 35.32 1660 0.7034 0.5071 0.2684 0.2386 0.2763 0.2166
0.6931 35.74 1680 0.7031 0.5055 0.2630 0.2425 0.2724 0.2221
0.6885 36.17 1700 0.7030 0.5055 0.2614 0.2441 0.2708 0.2237
0.6956 36.6 1720 0.7034 0.5118 0.2786 0.2331 0.2818 0.2064
0.6829 37.02 1740 0.7031 0.5102 0.2637 0.2465 0.2684 0.2214
0.7025 37.45 1760 0.7030 0.5063 0.2582 0.2480 0.2669 0.2268
0.6988 37.87 1780 0.7038 0.5063 0.2857 0.2206 0.2943 0.1994
0.6868 38.3 1800 0.7032 0.5078 0.2637 0.2441 0.2708 0.2214
0.6911 38.72 1820 0.7035 0.5055 0.2700 0.2355 0.2794 0.2151
0.6978 39.15 1840 0.7040 0.5063 0.2873 0.2190 0.2959 0.1978
0.6945 39.57 1860 0.7036 0.5047 0.2732 0.2316 0.2834 0.2119
0.6906 40.0 1880 0.7035 0.5071 0.2669 0.2402 0.2747 0.2182
0.6822 40.43 1900 0.7035 0.5078 0.2637 0.2441 0.2708 0.2214
0.6933 40.85 1920 0.7042 0.5071 0.2873 0.2198 0.2951 0.1978
0.6963 41.28 1940 0.7040 0.5047 0.2810 0.2237 0.2912 0.2041
0.6994 41.7 1960 0.7038 0.5024 0.2724 0.2300 0.2849 0.2127
0.6836 42.13 1980 0.7037 0.5016 0.2661 0.2355 0.2794 0.2190
0.6882 42.55 2000 0.7034 0.5 0.2527 0.2473 0.2677 0.2323
0.6953 42.98 2020 0.7036 0.5 0.2669 0.2331 0.2818 0.2182
0.7027 43.4 2040 0.7038 0.5039 0.2732 0.2308 0.2841 0.2119
0.6951 43.83 2060 0.7037 0.5024 0.2684 0.2339 0.2810 0.2166
0.6938 44.26 2080 0.7040 0.5047 0.2802 0.2245 0.2904 0.2049
0.6809 44.68 2100 0.7040 0.5071 0.2810 0.2261 0.2889 0.2041
0.6886 45.11 2120 0.7036 0.5031 0.2637 0.2394 0.2755 0.2214
0.6947 45.53 2140 0.7035 0.5039 0.2606 0.2433 0.2716 0.2245
0.694 45.96 2160 0.7035 0.5039 0.2614 0.2425 0.2724 0.2237
0.6888 46.38 2180 0.7040 0.5071 0.2794 0.2276 0.2873 0.2057
0.6893 46.81 2200 0.7036 0.5024 0.2637 0.2386 0.2763 0.2214
0.6873 47.23 2220 0.7038 0.5039 0.2732 0.2308 0.2841 0.2119
0.6974 47.66 2240 0.7040 0.5078 0.2802 0.2276 0.2873 0.2049
0.6853 48.09 2260 0.7038 0.5039 0.2732 0.2308 0.2841 0.2119
0.6974 48.51 2280 0.7038 0.5031 0.2724 0.2308 0.2841 0.2127
0.6833 48.94 2300 0.7038 0.5039 0.2732 0.2308 0.2841 0.2119
0.692 49.36 2320 0.7038 0.5031 0.2732 0.2300 0.2849 0.2119
0.6771 49.79 2340 0.7039 0.5024 0.2732 0.2292 0.2857 0.2119

Framework versions

  • Transformers 4.26.1
  • Pytorch 1.13.1
  • Datasets 2.10.1
  • Tokenizers 0.13.2