Revisión
Lograste una extraña y curiosa proeza técnica con este modelo. En lo personal me va mas lento que el modelo anterior... una lentitud similar a la que tuve con un modelo Llama2 de 3b. Es el primer modelo QWEN2 1.5b que siento así... pero tambien es el primer modelo QWEN2 1.5b que siento ser el mas inteligente de todos los QWEN2 1.5b que probé hasta la fecha.
En lo personal es una de cal y otra de arena; pero es un caso particular comprensible con un celular de 3Gb de RAM. Me queda aun ver que tal funcionará una conversión GGUF con imatrix.
En cambio, en terminos generales se me hizo el mejor modelo para maquinas de especificaciones bajas; muy completo y con imperceptibles alucinaciones salvo contadas ocasiones lo cual realmente me ha impresionado. Es una extraña calidad bastante alta que solo vi en modelos de mas parámetros ...y se que quizás podría sonar exagerado pero podría competir con modelos 7b.
Si esto fuese una espada, acabas de forjar la Murasame de los QWEN2 pequeños, y subo una evidencia para justificar esto al ingresar en la Memoria mi deseo de iniciar un roleplay en un castillo; esto fue lo que ha respondido:
@Novaciano Aca una version con QWEN 2.5 1.5 B
Kukedlc/NeuralQwen-2.5-1.5B-Spanish-GGUF
Gracias! Por cierto, me olvidé decirte ayer... pero salió un nuevo chiche que te podría interesar:
https://huggingface.co/meta-llama/Llama-Guard-3-1B
@Novaciano Si casualmente me acorde de vos cuando vi la versión 1B de LLama, anda bastante bien la versión 1B, como deciamos funciona como un 7B del año pasado, incluso mejor. Ya voy a hacer algun fine tuning para ver como responde. Hay una versión de 1 y otra de 3b, por cierto, que app de cel usas para correr los LLMs?
Generalmente Koboldcpp via Termux por comodidad, pero cada tanto tambien hago uso de Layla Lite.
Nota de color: Si llegases a usar Koboldcpp te recomiendo traducir unas lineas de código del archivo klite.embd que se encuentran en inglés y que de no hacerlo... podrían alterar un poco la generación de texto a nuestro idioma, sobre todo al momento de aplicar un jailbreak.
Para ahorrarte trabajo, de llegar a necesitarlo, las lineas ya traducidas son:
let injected = "[Ficción Interactiva: Modo de juego habilitado]\n[Estás jugando un juego elige-tu-propia-aventura. Ingresa una acción.]\n"; injected += "\n\n\> Mirar\n\nEstás mirando a tu alrededor, mirándote a ti mismo y lo que te rodea.\n\n"let injected = "[Lo siguiente es una interesante conversación entre " + me + " y " + original_co + ".]\n\n" + localsettings.chatname + ": Hola.\n" + original_co + ": Buen día."; if(co=="") { injected = "[Lo siguiente es una interesante conversación entre " + me + " y alguien más.]\n\n" + localsettings.chatname + ": Hola."; } if(hasMulti) { injected = "[Lo siguiente es una interesante conversación entre " + me + " y otras personas.]\n\n" + localsettings.chatname + ": Hola."; } truncated_context = injected + truncated_context;newgen = newgen + "Claro, puedo ayudarte con eso:\n\n";