config.json

{
  "quantization_config": {
        "bits": 3
    }
}