Признание

#1
by Ainonake - opened

Кажется сбер идет в правильную сторону - респект за выпуск модели. Туповата конечно наверное по сравнению с другими open-source конкурентами, но ждем новых релизов.

Open Source is the way.

Из-за MoE архитектуры наверное будет тяжело файнтюнить, но зато должно быстро работать на процессоре (если работает?).

Хотелось бы проверить это с llama.cpp собственно скачиваю и попытаюсь конвертировать, надежда на то что архитектура такая же как в deepseek и благодаря этому правки будут не нужны. А так llama.cpp позволяет поддержать инференс на гораздо более обширном числе устройств.

Ждём от сбера не MoE модель и побольше, которую бы смогло поддержать комьюнити файнтюнингом. Есть подозрение что всё же с MoE Это тяжело (судя по тому как неохотно выходят файнтюны других MoE).

Sign up or log in to comment