|
--- |
|
license: cc-by-nc-nd-4.0 |
|
language: |
|
- ru |
|
- en |
|
library_name: GGUF |
|
pipeline_tag: text-generation |
|
tags: |
|
- gguf |
|
- GGUF |
|
--- |
|
GGUF версия [стрелы](https://huggingface.co/gai-labs/strela). |
|
|
|
| Файл | Токенов/Секунда* | Скорость | Качество | Описание | |
|
| :-: | :-: | :-: | :-: | :- | |
|
| [strela-q8_0.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q8_0.gguf?download=true) | 5 | Медленная |Отличное | Лучше всего подходит для Cuda | |
|
| [strela-q4_k_m.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q4_k_m.gguf?download=true) | 9 | Средняя |Хорошое | Отлично работает на CPU, рекомендуется для использования на слабых устройствах | |
|
| [strela-q2_k.gguf](https://huggingface.co/gai-labs/strela-GGUF/resolve/main/strela-q2_k.gguf?download=true) | 13 | Быстрая | Плохое | Использовать только для английского языка с задачей, связанной с русскими словами | |
|
|
|
*Протестированно на Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz |
