Text Generation
Transformers
PyTorch
Safetensors
English
llama
text-generation-inference
Inference Endpoints

weird output

#4
by Aryanne - opened

I converted to GGUF, to run on llama.cpp and it outputs things like this:

### Human: hi
### Assistant: pod gener При по мо При в Об я те На Чд При Я При при П К П П е е Вы Рас При Чизу Пер Жю У На Про З Из Пере Я Со ХД О Д Ки Пу По За и Пуду На Сад А, со С При апду да еду С у д 7 при Надукопод у я на О я ка , При Е Оудри якуду Косу Приюа удоду Приду
TinyLlama org

https://github.com/ggerganov/llama.cpp/pull/3364

There is a bug in llama.cpp convert.py

Aryanne changed discussion status to closed

Sign up or log in to comment