Quantização do modelo
#5
by
lucianosb
- opened
Olá! Fiz a quantização do modelo para rodar em CPUs:
https://huggingface.co/lucianosb/open-cabrita3b-GGUF
Também inclui no README o link de um notebook para rodar o modelo gratuitamente na nuvem do Google Colab.
Espero que essa iniciativa ajude a ampliar o alcance e o feedback para futuras iterações.