|
--- |
|
license: mit |
|
language: |
|
- ru |
|
tags: |
|
- natural-language-processing |
|
- poetry-generation |
|
- text-generation |
|
- torch |
|
- lstm |
|
--- |
|
|
|
This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on Russian poetic texts written in iambus. Models of this type well represent poetic style. |
|
|
|
Model was trained with size 512 and 7 layers, dropout 0.5. |
|
|
|
There are 2 checkpoints of this model presented in the repository. One after 19 epochs with loss 0.7817, the other after 38 epochs with loss 0.7705. These metrics are in the file name. |
|
|
|
|
|
## Usage |
|
|
|
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used. |
|
|
|
```bash |
|
th sample.lua lm_lstm_epoch38.47_0.7705.t7 -length 10000 -temperature 0.5 -primetext 'some text' |
|
``` |
|
|
|
## Train data |
|
|
|
Train data is non free due to copyright restrictions. Iambic lines taken from [RNC](https://ruscorpora.ru/en/search?search=CikiIwohCh8KB2NyZWF0ZWQyFAoHCKwOEAEYARIHCKwOEAwYHxgCMgIICTAA). Corpus conists of 1,449,997 words, 9,116,311 symbols. |
|
|
|
## What for? |
|
|
|
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. Also RNN can reprodce poetic meter. |
|
|
|
## Publication |
|
|
|
The texts that produced this model were published in ["Neyrolirika" book](https://iq.hse.ru/news/228812683.html). |
|
|
|
|
|
## Samples |
|
|
|
``` |
|
Поверь, как ты не жаль с вершины, |
|
как осени неудержимый, |
|
один от залу уронили |
|
и теплые закрыты речи. |
|
Один ветром со здания, каких |
|
кокиску хвалит / по березу |
|
надломленной последний мор. |
|
Вздымались журавли камины |
|
И путь колышется в текут: |
|
О, если б быть пророчество, |
|
Так долю прежди не растут. |
|
И демон что-то пропустил… |
|
Так -- Иванинии. Окно |
|
Наш ивводить я понимаю: |
|
Сегодня за жилья он верит |
|
Неизбежимыми очами: |
|
За то, что мажет дом и губ, |
|
Как музыка улыбкой звука; |
|
Я много сказан, тешив старо, |
|
И может ль для держала грязь, |
|
Прекрасней тельст поместил мыши, |
|
Тоску, нельзя и у себя; |
|
Нашла, и марса льются лук. |
|
Ты оскверняешь, выйду, я простую, |
|
Когда надежда не бери ты, |
|
Что славорудою отрады |
|
При милостях. И в страшный час, |
|
Ты вместе лишь, как выносившись, |
|
Корысти звездов, опустевший, |
|
Не потому быть жертва им. |
|
Из что их, и закрыты дели: |
|
Вот там привыкнется спину. |
|
``` |
|
|
|
``` |
|
Когда в задумчивом проворности |
|
Любовь, не я враждебный час |
|
Блестит -- согласьем совершенства, |
|
Очам ей внукам приводить? |
|
Мы знаем, что почти на счастьи! |
|
Как царь, уверья отдаленной, |
|
В добро-своем в слезах, где камню |
|
Всё реет песние цветах. |
|
Не все -- мое саня дела. |
|
Нам думал он изнемогало: |
|
Не в чадах смрадов и тучей |
|
Целите зыбь! Тут хороша. |
|
Стеклянный вой по грекам мать |
|
Маркизы книжные лилеей |
|
Блистали перстом с обвирает |
|
и перед свищущим печалем. |
|
Ависмеи, кричит котаве |
|
На лесе колбин ветви степь... |
|
Но Калоход пробыл поэт |
|
Вчера над мыслью вечных тес; |
|
И ночь заснула с принимать; |
|
Но в мире я внушаю мест |
|
Самую бедности твоей. |
|
``` |
|
|
|
## BibTeX entry and citation info |
|
|
|
For more insights see: |
|
|
|
``` |
|
@article{orekhov2020neural, |
|
title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks}, |
|
author={Orekhov, Boris and Fischer, Frank}, |
|
journal={Orbis Litterarum}, |
|
volume={75}, |
|
number={5}, |
|
pages={230--246}, |
|
year={2020}, |
|
publisher={Wiley Online Library} |
|
} |
|
``` |
