Update app.py

app.py

@@ -9,18 +9,13 @@ import spaces
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 
-DESCRIPTION = "# Geitje-SPIN-7B"
-
-if not torch.cuda.is_available():
-    DESCRIPTION += "\n<p>Running on CPU 🥶 This demo does not work on CPU.</p>"
-
 MAX_MAX_NEW_TOKENS = 2048
 DEFAULT_MAX_NEW_TOKENS = 1024
-MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "4096"))
+MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
 
 if torch.cuda.is_available():
-    model_id = "BramVanroy/GEITje-7B-ultra-sft"
-    model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
+    model_id = "davidberenstein1957/ultra-feedback-dutch-cleaned-hq-spin-geitje-7b-ultra-sft_iter1"
+    model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")
     tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 
@@ -29,9 +24,9 @@ def generate(
     message: str,
     chat_history: list[tuple[str, str]],
     max_new_tokens: int = 1024,
-    temperature: float = 0.6,
-    top_p: float = 0.9,
-    top_k: int = 50,
+    temperature: float = 0.06,
+    top_p: float = 0.95,
+    top_k: int = 40,
     repetition_penalty: float = 1.2,
 ) -> Iterator[str]:
     conversation = []
@@ -39,13 +34,13 @@ def generate(
         conversation.extend([{"role": "user", "content": user}, {"role": "assistant", "content": assistant}])
     conversation.append({"role": "user", "content": message})
 
-    input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt")
+    input_ids = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, return_tensors="pt")
     if input_ids.shape[1] > MAX_INPUT_TOKEN_LENGTH:
         input_ids = input_ids[:, -MAX_INPUT_TOKEN_LENGTH:]
         gr.Warning(f"Trimmed input from conversation as it was longer than {MAX_INPUT_TOKEN_LENGTH} tokens.")
     input_ids = input_ids.to(model.device)
 
-    streamer = TextIteratorStreamer(tokenizer, timeout=20.0, skip_prompt=True, skip_special_tokens=True)
+    streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
     generate_kwargs = dict(
         {"input_ids": input_ids},
         streamer=streamer,
@@ -68,6 +63,12 @@ def generate(
 
 chat_interface = gr.ChatInterface(
     fn=generate,
+    chatbot=gr.Chatbot(height=450,
+                      label="GEITje-chat-v2",
+                      show_share_button=True,
+                      avatar_images=(None, 'geitje-logo.jpg')),
+    # textbox=gr.Textbox(value="Typ een bericht…"),
+    cache_examples=False,
     additional_inputs=[
         gr.Slider(
             label="Max new tokens",
@@ -78,10 +79,10 @@ chat_interface = gr.ChatInterface(
         ),
         gr.Slider(
             label="Temperature",
-            minimum=0.1,
-            maximum=4.0,
-            step=0.1,
-            value=0.6,
+            minimum=0.05,
+            maximum=1.2,
+            step=0.05,
+            value=0.2,
         ),
         gr.Slider(
             label="Top-p (nucleus sampling)",
@@ -105,24 +106,48 @@ chat_interface = gr.ChatInterface(
             value=1.2,
         ),
     ],
-    stop_btn=None,
     examples=[
-        ["Hi! How gaat het?"],
-        ["Kun je mij uitleggen wat Python is?"],
-        ["Leg het plot van  Assepoester uit in een zin."],
-        ["Hoe lang doet een persoon er over om een helicopter op te eten?"],
-        ["Schrijf een artikel met 100 woorden over de nut van AI."],
+        ["""Vraagje: welk woord hoort er niet in dit rijtje thuis: "auto, vliegtuig, geit, bus"?"""],
+        ["Schrijf een nieuwsbericht voor De Speld over de inzet van een kudde geiten door het Nederlands Forensisch Instituut"],
+        ["Wat zijn 3 leuke dingen om te doen als ik een weekendje naar Friesland ga?"],
+        ["Met wie trad clown Bassie op?"],
+        ["Kan je naar de maan fietsen?"],
+        ["Wat is het belang van open source taalmodellen?"],
+        ["""```
+Wortelverkopers krijgen miljoenenboete voor ongeoorloofd samenspannen
+Door onze economieredactie
+14 dec 2023 om 12:58
+Update: 20 uur geleden
+162 reacties
+Delen
+Toezichthouder ACM heeft een Nederlands wortelkartel aangepakt. Vier telers en verkopers van wortelen krijgen samen ruim 2,5 miljoen euro boete vanwege ongeoorloofde afspraken over het verdelen van de markt.
+Het gaat om telers en verkopers Laarakker, VanRijsingen, Veco en Verduyn. De vier bedrijven verkopen waspeen en Parijse wortelen aan conserven- en diepvriesfabrikanten in Nederland, België en Duitsland. Waspeen wordt vaak verkocht in potten of blikken in een mix met erwtjes.
+De vier bedrijven hadden in 2018 afgesproken dat ze tien jaar lang niet overal de concurrentie met elkaar zouden aangaan. Zo zou Veco tien jaar lang geen waspeen telen of verkopen. Daarnaast zouden Laarakker, VanRijsingen en Verduyn juist de Parijse wortelen links laten liggen.
+Ook betaalden de andere wortelverkopers Veco ter compensatie van de afspraken. Laarakker en Veco maakten ook nog afzonderlijke afspraken over de levering van Parijse wortelen aan Duitse klanten.
+Zulke afspraken zijn verboden. Als concurrentie door die samenwerking achterwege blijft en er dus sprake is van een kartel, betalen kopers mogelijk een hogere prijs, stelt de ACM.
+Twee van de wortelbedrijven werkten mee door meer informatie over de ongeoorloofde afspraken te delen met de toezichthouder. Daardoor kregen zij een lagere boete.
+```
+Vat bovenstaand artikel samen"""]
     ],
+    title="🐐 GEITje 7B chat-v2 🐐",
+    description="""Een ~eerste~ tweede chatbot op basis van GEITje 7B: een groot open Nederlands taalmodel. Gemaakt voor demonstratiedoeleinden.
+    
+    Generatieve taalmodellen maken fouten, controleer daarom feiten voordat je ze overneemt. GEITje-chat is niet uitgebreid getraind om _gealigned_ te zijn met menselijke waarden. Het is daarom mogelijk dat het problematische output genereert, zeker als het daartoe _geprompt_ wordt.
+    
+    Voor meer info over GEITje: zie de <a href="https://github.com/Rijgersberg/GEITje">📄 README op GitHub</a>.
+    
+    <b>NIEUW</b>: probeer ook <a href="https://huggingface.co/BramVanroy">@BramVanroy</a>'s verbeterde chatbot <a href="https://huggingface.co/spaces/BramVanroy/GEITje-7B-ultra">GEITje-7B-ultra</a>!
+    
+    <b>ZeroGPU</b>: De demo draait vanaf nu op de nieuwe gratis dynamische <a href="https://huggingface.co/zero-gpu-explorers">ZeroGPUs</a> van Hugging Face. Daarmee blijft de demo nu langer beschikbaar, maar kan het wel een paar seconden duren voordat je antwoord krijgt op je eerste vraag.""",
+    submit_btn="Genereer",
+    stop_btn="Stop",
+    retry_btn="🔄 Opnieuw",
+    undo_btn="↩️ Ongedaan maken",
+    clear_btn="🗑️ Wissen",
 )
 
 with gr.Blocks(css="style.css") as demo:
-    gr.Markdown(DESCRIPTION)
-    gr.DuplicateButton(
-        value="Duplicate Space for private use",
-        elem_id="duplicate-button",
-        visible=os.getenv("SHOW_DUPLICATE_BUTTON") == "1",
-    )
     chat_interface.render()
 
 if __name__ == "__main__":
-    demo.queue(max_size=20).launch()
+    demo.queue(max_size=20).launch()