README.md

---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - poetry-generation
  - text-generation
  - torch
  - lstm
---

This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on Russian poetic texts written in iambus. Models of this type well represent poetic style.

Model was trained with size 512 and 7 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 19 epochs with loss 0.7817, the other after 38 epochs with loss 0.7705. These metrics are in the file name.


## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lm_lstm_epoch38.47_0.7705.t7 -length 10000 -temperature 0.5 -primetext 'some text' 
```

## Train data

Train data is non free  due to copyright restrictions. Iambic lines taken from [RNC](https://ruscorpora.ru/en/search?search=CikiIwohCh8KB2NyZWF0ZWQyFAoHCKwOEAEYARIHCKwOEAwYHxgCMgIICTAA). Corpus conists of 1,449,997 words, 9,116,311 symbols.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style. Also RNN can reprodce poetic meter.

## Publication

The texts that produced this model were published in ["Neyrolirika" book](https://iq.hse.ru/news/228812683.html).


## Samples

```
Поверь, как ты не жаль с вершины,
как осени неудержимый,
один от залу уронили
и теплые закрыты речи.
Один ветром со здания, каких
кокиску хвалит / по березу
надломленной последний мор.
Вздымались журавли камины
И путь колышется в текут:
О, если б быть пророчество,
Так долю прежди не растут.
И демон что-то пропустил…
Так -- Иванинии. Окно
Наш ивводить я понимаю:
Сегодня за жилья он верит
Неизбежимыми очами:
За то, что мажет дом и губ,
Как музыка улыбкой звука;
Я много сказан, тешив старо,
И может ль для держала грязь,
Прекрасней тельст поместил мыши,
Тоску, нельзя и у себя;
Нашла, и марса льются лук.
Ты оскверняешь, выйду, я простую,
Когда надежда не бери ты,
Что славорудою отрады
При милостях. И в страшный час,
Ты вместе лишь, как выносившись,
Корысти звездов, опустевший,
Не потому быть жертва им.
Из что их, и закрыты дели:
Вот там привыкнется спину.
```

```
Когда в задумчивом проворности
Любовь, не я враждебный час
Блестит -- согласьем совершенства,
Очам ей внукам приводить?
Мы знаем, что почти на счастьи!
Как царь, уверья отдаленной,
В добро-своем в слезах, где камню
Всё реет песние цветах.
Не все -- мое саня дела.
Нам думал он изнемогало:
Не в чадах смрадов и тучей
Целите зыбь! Тут хороша.
Стеклянный вой по грекам мать
Маркизы книжные лилеей
Блистали перстом с обвирает
и перед свищущим печалем.
Ависмеи, кричит котаве
На лесе колбин ветви степь...
Но Калоход пробыл поэт
Вчера над мыслью вечных тес;
И ночь заснула с принимать;
Но в мире я внушаю мест
Самую бедности твоей.
```

## BibTeX entry and citation info

For more insights see:

```
@article{orekhov2020neural,
  title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
  author={Orekhov, Boris and Fischer, Frank},
  journal={Orbis Litterarum},
  volume={75},
  number={5},
  pages={230--246},
  year={2020},
  publisher={Wiley Online Library}
}
```