lavawolfiee
commited on
Commit
•
e008050
1
Parent(s):
4e06d26
Changed md link format
Browse files
app.py
CHANGED
@@ -47,7 +47,7 @@ def generate(text, temperature, max_new_tokens, top_p):
|
|
47 |
return tokenizer.decode(output[0])
|
48 |
|
49 |
|
50 |
-
desc = "Попытка повторить статью от Google
|
51 |
"В ней вводиться новый слой **KNNAttention**, который использует approximate kNN в базе с (key, value), чтобы делать attention по большому контексту. Это позволяет расширить контекст трансформера до размера книг и статей, несильно замедляя его.\n\n"\
|
52 |
"Я написал свои **KNNAttention**, переписал слой **GPT2Attention**, чтобы он использовал KNNAttention, а также написал несколько вспомогательный классов для всего этого.\n\n"\
|
53 |
"Я сел писать это за **3 недели** до дедлайна, но все равно не довел до результата, которого изначально хотел. Но я доволен проделанной работой :)"
|
|
|
47 |
return tokenizer.decode(output[0])
|
48 |
|
49 |
|
50 |
+
desc = "Попытка повторить статью от Google [Memorizing Transformers](https://arxiv.org/abs/2203.08913). "\
|
51 |
"В ней вводиться новый слой **KNNAttention**, который использует approximate kNN в базе с (key, value), чтобы делать attention по большому контексту. Это позволяет расширить контекст трансформера до размера книг и статей, несильно замедляя его.\n\n"\
|
52 |
"Я написал свои **KNNAttention**, переписал слой **GPT2Attention**, чтобы он использовал KNNAttention, а также написал несколько вспомогательный классов для всего этого.\n\n"\
|
53 |
"Я сел писать это за **3 недели** до дедлайна, но все равно не довел до результата, которого изначально хотел. Но я доволен проделанной работой :)"
|