philschmid HF staff commited on
Commit
6d4fae2
1 Parent(s): b97ccb7

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -4
app.py CHANGED
@@ -36,8 +36,14 @@ tokenizer = AutoTokenizer.from_pretrained(model_id)
36
  prompt_template = f"### Anweisung:\n{{input}}\n\n### Antwort:"
37
 
38
 
39
- def generate(instruction, temperature=1, max_new_tokens=256, top_p=0.9, length_penalty=1.0):
40
  formatted_instruction = prompt_template.format(input=instruction)
 
 
 
 
 
 
41
  # COMMENT IN FOR NON STREAMING
42
  # generation_config = GenerationConfig(
43
  # do_sample=True,
@@ -110,11 +116,8 @@ def save_inputs_and_outputs(inputs, outputs, generate_kwargs):
110
  examples = [
111
  """Beantworten Sie die Frage am Ende des Textes anhand der folgenden Zusammenhänge. Wenn Sie die Antwort nicht wissen, sagen Sie, dass Sie es nicht wissen, versuchen Sie nicht, eine Antwort zu erfinden.
112
  "Das Unternehmen wurde 2016 von den französischen Unternehmern Clément Delangue, Julien Chaumond und Thomas Wolf gegründet und entwickelte ursprünglich eine Chatbot-App, die sich an Teenager richtete.[2] Nachdem das Modell hinter dem Chatbot offengelegt wurde, konzentrierte sich das Unternehmen auf eine Plattform für maschinelles Lernen.
113
-
114
  Im März 2021 sammelte Hugging Face in einer Serie-B-Finanzierungsrunde 40 Millionen US-Dollar ein[3].
115
-
116
  Am 28. April 2021 rief das Unternehmen in Zusammenarbeit mit mehreren anderen Forschungsgruppen den BigScience Research Workshop ins Leben, um ein offenes großes Sprachmodell zu veröffentlichen.[4] Im Jahr 2022 wurde der Workshop mit der Ankündigung von BLOOM abgeschlossen, einem mehrsprachigen großen Sprachmodell mit 176 Milliarden Parametern.[5]"
117
-
118
  Frage: Wann wurde Hugging Face gegründet?""",
119
  "Erklären Sie, was eine API ist.",
120
  "Bitte beantworten Sie die folgende Frage. Wer wird der nächste Ballon d'or sein?",
 
36
  prompt_template = f"### Anweisung:\n{{input}}\n\n### Antwort:"
37
 
38
 
39
+ def generate(instruction, temperature=1.0, max_new_tokens=256, top_p=0.9, length_penalty=1.0):
40
  formatted_instruction = prompt_template.format(input=instruction)
41
+
42
+ # make sure temperature top_p and length_penalty are floats
43
+ temperature = float(temperature)
44
+ top_p = float(top_p)
45
+ length_penalty = float(length_penalty)
46
+
47
  # COMMENT IN FOR NON STREAMING
48
  # generation_config = GenerationConfig(
49
  # do_sample=True,
 
116
  examples = [
117
  """Beantworten Sie die Frage am Ende des Textes anhand der folgenden Zusammenhänge. Wenn Sie die Antwort nicht wissen, sagen Sie, dass Sie es nicht wissen, versuchen Sie nicht, eine Antwort zu erfinden.
118
  "Das Unternehmen wurde 2016 von den französischen Unternehmern Clément Delangue, Julien Chaumond und Thomas Wolf gegründet und entwickelte ursprünglich eine Chatbot-App, die sich an Teenager richtete.[2] Nachdem das Modell hinter dem Chatbot offengelegt wurde, konzentrierte sich das Unternehmen auf eine Plattform für maschinelles Lernen.
 
119
  Im März 2021 sammelte Hugging Face in einer Serie-B-Finanzierungsrunde 40 Millionen US-Dollar ein[3].
 
120
  Am 28. April 2021 rief das Unternehmen in Zusammenarbeit mit mehreren anderen Forschungsgruppen den BigScience Research Workshop ins Leben, um ein offenes großes Sprachmodell zu veröffentlichen.[4] Im Jahr 2022 wurde der Workshop mit der Ankündigung von BLOOM abgeschlossen, einem mehrsprachigen großen Sprachmodell mit 176 Milliarden Parametern.[5]"
 
121
  Frage: Wann wurde Hugging Face gegründet?""",
122
  "Erklären Sie, was eine API ist.",
123
  "Bitte beantworten Sie die folgende Frage. Wer wird der nächste Ballon d'or sein?",