README.md

metadata

license: mit
base_model:
  - ai-sage/GigaChat-20B-A3B-instruct
language:
  - ru
  - en

GigaChat-20B-A3B-instruct int8

Для работы с представленными GGUF нужно самостоятельно собрать llama-cpp от следующего Pull Request

Диалоговая модель из семейства моделей GigaChat, основная на ai-sage/GigaChat-20B-A3B-instruct. Поддерживает контекст в 131 тысячу токенов.

Больше подробностей в хабр статье и в карточке оригинальной instruct модели.