ai-forever
commited on
Commit
•
fb56a5a
1
Parent(s):
32c0212
Update README.md
Browse files
README.md
CHANGED
@@ -37,28 +37,28 @@ device='cuda'
|
|
37 |
model.to(device)
|
38 |
|
39 |
#Prefix <LM>
|
40 |
-
lm_text='
|
41 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
42 |
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
|
43 |
print(tokenizer.decode(outputs[0][1:]))
|
44 |
|
45 |
-
# print result: с того, что он был в армии, служил в
|
46 |
|
47 |
#Prefix <SC1>
|
48 |
-
lm_text='<SC1>Принялся Кутузов рассказывать свою историю
|
49 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
50 |
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
|
51 |
print(tokenizer.decode(outputs[0][1:]))
|
52 |
|
53 |
-
#print result: '<extra_id_0> с самого
|
54 |
|
55 |
-
# Prefix <
|
56 |
-
lm_text='<
|
57 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
58 |
-
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True
|
59 |
-
|
60 |
|
61 |
-
#print result:'<extra_id_0
|
62 |
|
63 |
```
|
64 |
# Authors
|
|
|
37 |
model.to(device)
|
38 |
|
39 |
#Prefix <LM>
|
40 |
+
lm_text='<LM>Принялся Кутузов рассказывать свою историю как он сюда попал. Началось'
|
41 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
42 |
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
|
43 |
print(tokenizer.decode(outputs[0][1:]))
|
44 |
|
45 |
+
# print result: с того, что он был в армии, служил в артиллерии</s>.
|
46 |
|
47 |
#Prefix <SC1>
|
48 |
+
lm_text='<SC1>Принялся Кутузов рассказывать свою историю <extra_id_0>. Началось с того, что он был в армии, служил в артиллерии.'
|
49 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
50 |
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
|
51 |
print(tokenizer.decode(outputs[0][1:]))
|
52 |
|
53 |
+
#print result: '<extra_id_0> с самого начала</s>'
|
54 |
|
55 |
+
# Prefix <SC5>
|
56 |
+
lm_text='<SC5>Принялся Кутузов рассказывать свою историю <extra_id_0>. Началось с того, что он был в армии, служил в артиллерии.'
|
57 |
input_ids=torch.tensor([tokenizer.encode(prefix_LM+lm_text)]).to(device)
|
58 |
+
outputs=model.generate(input_ids,eos_token_id=tokenizer.eos_token_id,early_stopping=True)
|
59 |
+
tokenizer.decode(outputs[0][1:])
|
60 |
|
61 |
+
#print result: '<extra_id_0>, и она оказалась очень длинной</s>'
|
62 |
|
63 |
```
|
64 |
# Authors
|