Update fredalpaca.py

fredalpaca.py

@@ -7,35 +7,32 @@ Original file is located at
     https://colab.research.google.com/drive/1W6DsQPLinVnuJKqhVASYpuVwuHhhtGLc
 """
 
-!pip install transformers sentencepiece accelerate
+import streamlit as st
 
 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import GenerationConfig
 
 model_name = "IlyaGusev/fred_t5_ru_turbo_alpaca"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForSeq2SeqLM.from_pretrained(model_name).to("cuda")
 model.eval()
 
-inputs = [
-    "Вопрос: Почему трава зеленая?",
-    "Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.\nДано: Таня, мяч",
-    "Могут ли в природе встретиться в одном месте белый медведь и пингвин? Если нет, то почему?",
-    "Задание: Заполни пропуски в предложении. Дано: Я пытался ____ от маньяка, но он меня настиг",
-    "Как приготовить лазанью?"
-]
-
-from transformers import GenerationConfig
-
 generation_config = GenerationConfig.from_pretrained(model_name)
-
-for sample in inputs:
-    data = tokenizer(sample, return_tensors="pt")
-    data = {k: v.to(model.device) for k, v in data.items()}
-    output_ids = model.generate(
-        **data,
-        generation_config=generation_config
+st.title('Модель')
+st.write('')
+# Input text
+text_in = st.text_input('Введите текст:')
+# кнопка вывод результата
+start = st.button('Start:')
+if start:
+    for sample in text_in:
+         data = tokenizer(sample, return_tensors="pt")
+         data = {k: v.to(model.device) for k, v in data.items()}
+          output_ids = model.generate(
+              **data,
+              generation_config=generation_config
     )[0]
     print(tokenizer.decode(data["input_ids"][0].tolist()))
     print(tokenizer.decode(output_ids.tolist()))
     print("====================")
-
+    st.write("Результат:", tokenizer.decode(data["input_ids"][0].tolist()),tokenizer.decode(output_ids.tolist()))