Wow
Dopiero zaczynam testować ale już jestem pod wrażeniem. Jak na tak mały model spodziewałem się że będzie mocno kaleczyć nasz rodzimy język ale jednak nie. Zdażają sie małe błędy (odmiany: miał/miałam itp) ale nie ma tego dużo.
ChatML format, a jakie ustawienia samplowania polecasz?
Próbowałem z takimi ustawieniami, zdaje sie działać dobrze.
Edit: A przy okazji na czym oparty jest model? Na nemo?
Temperaturę zalecamy niższą: 0.2 albo 0.1.
Opis jest w karcie modelu, użyliśmy wag modelu Mistral-7B-v0.2.
Temperaturę zalecamy niższą: 0.2 albo 0.1.
Opis jest w karcie modelu, użyliśmy wag modelu Mistral-7B-v0.2.
Dziękuje potestuje. Zauważyłem też że wersja Bielik-11B-v2.2-Instruct-GGUF-IQ-Imatrix ma znacznie mniej literówek (problemów z odmianą) niż wersja statyczna dla Q6.
Temperaturę zalecamy niższą: 0.2 albo 0.1.
Opis jest w karcie modelu, użyliśmy wag modelu Mistral-7B-v0.2.
Mistral 7b v02 ..... uuuuuu ;P
To bardzo stary model jak na standardy llm.
Moze uzyjcie nowego mistrala 12b?
Jak juz macie gotowe data sheet to finetuningowanie szybko pojdzie.
Jest duzo lepszy i ma dobra licenceje.