README.md

---
license: cc-by-nc-nd-4.0
language:
- ru
- en
library_name: GGUF
pipeline_tag: text-generation
tags:
- gguf
- GGUF
---
GGUF версия [стрелы](https://huggingface.co/gai-labs/strela).

| Файл | Токенов/Секунда* | Скорость | Качество |  Описание |
| :-: | :-: | :-: | :-: | :- |
| [strela-q8_0.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q8_0.gguf?download=true) | 5 | Медленная |Отличное | Лучше всего подходит для Cuda |
| [strela-q4_k_m.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q4_k_m.gguf?download=true) | 9 | Средняя |Хорошое | Отлично работает на CPU,  рекомендуется для использования на слабых устройствах |
| [strela-q2_k.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q2_k.gguf?download=true) | 13 | Быстрая | Плохое | Использовать только для английского языка с задачей, связанной с русскими словами |

*Протестированно на Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz