PyWebSol commited on
Commit
a24b436
1 Parent(s): c3162b6

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +31 -0
README.md CHANGED
@@ -1,3 +1,34 @@
1
  ---
2
  license: apache-2.0
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: apache-2.0
3
  ---
4
+ T5 для генерации пары вопрос-ответ на русском языке.
5
+ Использование:
6
+ ```python
7
+ import torch
8
+ from transformers import AutoModelForSeq2SeqLM, T5Tokenizer
9
+ model_name = "t5-qagen"
10
+ tokenizer = T5Tokenizer.from_pretrained(model_name)
11
+ model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
12
+
13
+ def generate(text, **kwargs):
14
+ inputs = tokenizer(text, return_tensors='pt')
15
+ with torch.no_grad():
16
+ hypotheses = model.generate(**inputs, num_beams=1, **kwargs, max_new_tokens=512)
17
+ print(hypotheses)
18
+ return tokenizer.decode(hypotheses[0], skip_special_tokens=True)
19
+
20
+ qa = generate(
21
+ "К особым префектурам можно отнести Токио, Киото, Осаку и Хоккайдо. В период Эдо (1603—1867), сёгунат установил 9 городских районов, которыми управляли чиновники из центра (奉行支配地), и 302 районных города, которыми управляли городские чиновники (郡代支配地). С наступлением эпохи Мэйдзи 9 городских центров были превращены в округа фу, а 302 районных города — в префектуры кэн. В 1871 г., после административной реформы, в Японии было установлено 3 городских префектур фу — Токио, Киото и Осака. В 1943 г. городская префектура Токио была переименована в столицу то (хотя закона о столице утверждено не было)."
22
+ ).split(" <|split|> ")
23
+
24
+ question, answer = qa
25
+
26
+ print(f"Вопрос: {question}")
27
+ print(f"Ответ: {answer}")
28
+ # Вопрос: В каком период было установлено 3 городских префектур фу — Токио, Киото и Осака?
29
+ # Ответ: В 1871 году.
30
+ ```
31
+
32
+ Модель может быть подезна для автоматизированной генерации наборов данных по тексту для обучения других NLP моделей.
33
+
34
+ Буду благодарен, если заглянете в моего телеграм бота с ChatGPT-4: https://t.me/GPT_3_V_Bot