nevmenandr
commited on
Commit
•
b449bfb
1
Parent(s):
cf1ae1c
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,119 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- ru
|
5 |
+
tags:
|
6 |
+
- natural-language-processing
|
7 |
+
- poetry-generation
|
8 |
+
- text-generation
|
9 |
+
- torch
|
10 |
+
- lstm
|
11 |
+
---
|
12 |
+
|
13 |
+
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on Russian poetic texts written in iambus. Models of this type well represent poetic style.
|
14 |
+
|
15 |
+
Model was trained with size 512 and 7 layers, dropout 0.5.
|
16 |
+
|
17 |
+
There are 2 checkpoints of this model presented in the repository. One after 19 epochs with loss 0.7817, the other after 38 epochs with loss 0.7705. These metrics are in the file name.
|
18 |
+
|
19 |
+
|
20 |
+
## Usage
|
21 |
+
|
22 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
|
23 |
+
|
24 |
+
```bash
|
25 |
+
th sample.lua lm_lstm_epoch38.47_0.7705.t7 -length 10000 -temperature 0.5 -primetext 'some text'
|
26 |
+
```
|
27 |
+
|
28 |
+
## Train data
|
29 |
+
|
30 |
+
Train data is non free due to copyright restrictions. Iambic lines taken from [RNC](https://ruscorpora.ru/en/search?search=CikiIwohCh8KB2NyZWF0ZWQyFAoHCKwOEAEYARIHCKwOEAwYHxgCMgIICTAA). Corpus conists of 1,449,997 words, 9,116,311 symbols.
|
31 |
+
|
32 |
+
## What for?
|
33 |
+
|
34 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. Also RNN can reprodce poetic meter.
|
35 |
+
|
36 |
+
## Publication
|
37 |
+
|
38 |
+
The texts that produced this model were published in ["Neyrolirika" book](https://iq.hse.ru/news/228812683.html).
|
39 |
+
|
40 |
+
|
41 |
+
## Samples
|
42 |
+
|
43 |
+
```
|
44 |
+
Поверь, как ты не жаль с вершины,
|
45 |
+
как осени неудержимый,
|
46 |
+
один от залу уронили
|
47 |
+
и теплые закрыты речи.
|
48 |
+
Один ветром со здания, каких
|
49 |
+
кокиску хвалит / по березу
|
50 |
+
надломленной последний мор.
|
51 |
+
Вздымались журавли камины
|
52 |
+
И путь колышется в текут:
|
53 |
+
О, если б быть пророчество,
|
54 |
+
Так долю прежди не растут.
|
55 |
+
И демон что-то пропустил…
|
56 |
+
Так -- Иванинии. Окно
|
57 |
+
Наш ивводить я понимаю:
|
58 |
+
Сегодня за жилья он верит
|
59 |
+
Неизбежимыми очами:
|
60 |
+
За то, что мажет дом и губ,
|
61 |
+
Как музыка улыбкой звука;
|
62 |
+
Я много сказан, тешив старо,
|
63 |
+
И может ль для держала грязь,
|
64 |
+
Прекрасней тельст поместил мыши,
|
65 |
+
Тоску, нельзя и у себя;
|
66 |
+
Нашла, и марса льются лук.
|
67 |
+
Ты оскверняешь, выйду, я простую,
|
68 |
+
Когда надежда не бери ты,
|
69 |
+
Что славорудою отрады
|
70 |
+
При милостях. И в страшный час,
|
71 |
+
Ты вместе лишь, как выносившись,
|
72 |
+
Корысти звездов, опустевший,
|
73 |
+
Не потому быть жертва им.
|
74 |
+
Из что их, и закрыты дели:
|
75 |
+
Вот там привыкнется спину.
|
76 |
+
```
|
77 |
+
|
78 |
+
```
|
79 |
+
Когда в задумчивом проворности
|
80 |
+
Любовь, не я враждебный час
|
81 |
+
Блестит -- согласьем совершенства,
|
82 |
+
Очам ей внукам приводить?
|
83 |
+
Мы знаем, что почти на счастьи!
|
84 |
+
Как царь, уверья отдаленной,
|
85 |
+
В добро-своем в слезах, где камню
|
86 |
+
Всё реет песние цветах.
|
87 |
+
Не все -- мое саня дела.
|
88 |
+
Нам думал он изнемогало:
|
89 |
+
Не в чадах смрадов и тучей
|
90 |
+
Целите зыбь! Тут хороша.
|
91 |
+
Стеклянный вой по грекам мать
|
92 |
+
Маркизы книжные лилеей
|
93 |
+
Блистали перстом с обвирает
|
94 |
+
и перед свищущим печалем.
|
95 |
+
Ависмеи, кричит котаве
|
96 |
+
На лесе колбин ветви степь...
|
97 |
+
Но Калоход пробыл поэт
|
98 |
+
Вчера над мыслью вечных тес;
|
99 |
+
И ночь заснула с принимать;
|
100 |
+
Но в мире я внушаю мест
|
101 |
+
Самую бедности твоей.
|
102 |
+
```
|
103 |
+
|
104 |
+
## BibTeX entry and citation info
|
105 |
+
|
106 |
+
For more insights see:
|
107 |
+
|
108 |
+
```
|
109 |
+
@article{orekhov2020neural,
|
110 |
+
title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
|
111 |
+
author={Orekhov, Boris and Fischer, Frank},
|
112 |
+
journal={Orbis Litterarum},
|
113 |
+
volume={75},
|
114 |
+
number={5},
|
115 |
+
pages={230--246},
|
116 |
+
year={2020},
|
117 |
+
publisher={Wiley Online Library}
|
118 |
+
}
|
119 |
+
```
|