strela-GGUF / README.md
Blue-kod's picture
Update README.md
1747596 verified
metadata
license: cc-by-nc-nd-4.0
language:
  - ru
  - en
library_name: GGUF
pipeline_tag: text-generation
tags:
  - gguf
  - GGUF

GGUF версия стрелы.

Файл Токенов/Секунда* Скорость Качество Описание
strela-q8_0.gguf 5 Медленная Отличное Лучше всего подходит для Cuda
strela-q4_k_m.gguf 9 Средняя Хорошое Отлично работает на CPU, рекомендуется для использования на слабых устройствах
strela-q2_k.gguf 13 Быстрая Плохое Использовать только для английского языка с задачей, связанной с русскими словами

*Протестированно на Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz