2.8b_config.json

{"num_layers": 36, "hidden_size": 1472, "state_size": 16, "conv_dimension": 4, "vocab_size": 50304, "expansion_factor": 2, "mamba_moe_layers": ["r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8"], "ffn_hidden_size": 3872, "bias": false, "add_bias_linear": false, "swiglu": true, "max_sequence_length": 2048}