Atualiza para usar o boto

app.py

@@ -10,16 +10,16 @@ import gradio as gr
 from huggingface_hub import hf_hub_download
 
 hf_hub_download(
-    repo_id="bartowski/gemma-2-9b-it-GGUF",
-    filename="gemma-2-9b-it-Q5_K_M.gguf",
+    repo_id="lucianosb/boto-9B-GGUF",
+    filename="boto9b.Q4_0.gguf",
     local_dir="./models"
 )
 
 
 
 hf_hub_download(
-    repo_id="bartowski/gemma-2-27b-it-GGUF",
-    filename="gemma-2-27b-it-Q5_K_M.gguf",
+    repo_id="lucianosb/boto-9B-GGUF",
+    filename="boto9b.Q5_K_M.gguf",
     local_dir="./models"
 )
 
@@ -98,27 +98,24 @@ def respond(
         outputs += output
         yield outputs
 
-description = """<p align="center">Defaults to 27B it (you can switch to 9b it from additional inputs)</p>
-<p><center>
-<a href="https://huggingface.co/google/gemma-2-27b-it" target="_blank">[27B it Model]</a>
-<a href="https://huggingface.co/google/gemma-2-9b-it" target="_blank">[9B it Model]</a>
-<a href="https://huggingface.co/bartowski/gemma-2-27b-it-GGUF" target="_blank">[27B it Model GGUF]</a>
-<a href="https://huggingface.co/bartowski/gemma-2-9b-it-GGUF" target="_blank">[9B it Model GGUF]</a>
-</center></p>
+description = """[lucianosb/boto-9B](https://huggingface.co/lucianosb/boto-9B) é um fine-tune de Gemma2-9B para língua portuguesa. 
+
+Boto responde bem a instruções. Não foi treinado para chat.
 """
 
 demo = gr.ChatInterface(
     respond,
+    additional_inputs_accordion=gr.Accordion(label="⚙️ Parameters", open=False),
     additional_inputs=[
         gr.Dropdown([
-                'gemma-2-9b-it-Q5_K_M.gguf',
-                'gemma-2-27b-it-Q5_K_M.gguf'
+                'boto9b.Q4_0.gguf',
+                'boto9b.Q5_K_M.gguf'
             ],
-            value="gemma-2-27b-it-Q5_K_M.gguf",
+            value="boto9b.Q5_K_M.gguf",
             label="Model"
         ),
-        gr.Textbox(value="You are a helpful assistant.", label="System message"),
-        gr.Slider(minimum=1, maximum=4096, value=2048, step=1, label="Max tokens"),
+        gr.Textbox(value="Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente a solicitação. Seja conciso e direto. Não forneça muitas explicações.", label="System message"),
+        gr.Slider(minimum=1, maximum=8192, value=2048, step=1, label="Max tokens"),
         gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
         gr.Slider(
             minimum=0.1,
@@ -142,17 +139,19 @@ demo = gr.ChatInterface(
             label="Repetition penalty",
         ),
     ],
-    retry_btn="Retry",
-    undo_btn="Undo",
-    clear_btn="Clear",
-    submit_btn="Send",
-    title="Chat with Gemma 2 using llama.cpp", 
+    retry_btn="🔄 De Novo",
+    undo_btn="↩️ Desfazer",
+    clear_btn="🗑️ Limpar",
+    submit_btn="Enviar",
+    stop_btn="Parar",
+    title="🐬🩷 Chat com o Boto 9B", 
     description=description,
     chatbot=gr.Chatbot(
         scale=1, 
         likeable=False,
         show_copy_button=True
     )
+    theme=gr.themes.Soft(primary_hue="pink"),
 )
 
 if __name__ == "__main__":