nevmenandr
commited on
Commit
•
2be357c
1
Parent(s):
5384a30
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,100 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- ba
|
5 |
+
tags:
|
6 |
+
- natural-language-processing
|
7 |
+
- poetry-generation
|
8 |
+
- torch
|
9 |
+
- lstm
|
10 |
+
---
|
11 |
+
|
12 |
+
This generative model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by arond 100 Bashkir poets.
|
13 |
+
|
14 |
+
Model was trained with size 1024 and 3 layers, dropout 0.5.
|
15 |
+
|
16 |
+
There are 2 checkpoints of this model presented in the repository. One after 31 epochs with loss 0.8306, the other after 50 epochs with loss 0.8451. These metrics are in the file name.
|
17 |
+
|
18 |
+
## Usage
|
19 |
+
|
20 |
+
The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
|
21 |
+
|
22 |
+
```bash
|
23 |
+
th sample.lua lm_lstm_epoch50.00_0.8451.t7
|
24 |
+
```
|
25 |
+
|
26 |
+
## Train data
|
27 |
+
|
28 |
+
Train data is non free due to copyright restrictions. Texts from the [Bashkir poetry corpus](http://web-corpora.net/bashcorpus/), digitized for a [study on the history of Bashkir verse](https://books.google.ru/books?id=6rkkzAEACAAJ), are used as a training corpus.
|
29 |
+
|
30 |
+
## What for?
|
31 |
+
|
32 |
+
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
|
33 |
+
|
34 |
+
## Publication
|
35 |
+
|
36 |
+
Examples of text generation [have been published in a book](http://nevmenandr.net/personalia/Min_shigriet_yze.pdf) in Bashkir language.
|
37 |
+
|
38 |
+
This book included as pdf file in this repository.
|
39 |
+
|
40 |
+
## Samples
|
41 |
+
|
42 |
+
### epoch 50, temperature 0.4
|
43 |
+
|
44 |
+
```
|
45 |
+
Шат йөрәктән йәшел тулҡында.
|
46 |
+
Бар тип белмәй белмәй белем шаулай,
|
47 |
+
Беҙ беләбеҙ беҙҙең башҡортостан.
|
48 |
+
Тау башында тормош килеп керҙе,
|
49 |
+
Булыр ине төнгө тамсы булып.
|
50 |
+
Тамырын күреп кенә йөрөй ул
|
51 |
+
Алыҫ елдәр салғы ташланы.
|
52 |
+
|
53 |
+
Кемдәр көткән кеше йөрәгенә
|
54 |
+
Күкрәгемдә йөрөй яланда.
|
55 |
+
```
|
56 |
+
|
57 |
+
### epoch 50, temperature 0.6
|
58 |
+
|
59 |
+
```
|
60 |
+
Ята гүзәл йәш кейек.
|
61 |
+
Йәнде тулап китә икән,
|
62 |
+
Ҡапыл ерҙән бер туҡтау.
|
63 |
+
Ул да ҡаты йәйҙең башҡа бер ғаләмде
|
64 |
+
Дуҫтарына ҡарап батырҙы.
|
65 |
+
Бер ҡарашы көндә кис булды ул,
|
66 |
+
Йырлап йөрөй таныш кешегә.
|
67 |
+
Урал аша тотҡан ҡайғыларын
|
68 |
+
Бөгөн тик булды ул тауҙарға.
|
69 |
+
Бер кем белә бөгөн яраларҙан
|
70 |
+
Мандылдарҙан тағы бер сәскә.
|
71 |
+
Сафлыҡтарҙы һаҡлап шатлыҡ килә,
|
72 |
+
Тап булған һайын тауҙар.
|
73 |
+
|
74 |
+
Көндәр кеүек, йәмле шыршы тауышы
|
75 |
+
Тау-тау булып күккә табынған.
|
76 |
+
Ара тора йәндәр менән белдем,
|
77 |
+
Бер ҡараһаң, һаман бер сабый.
|
78 |
+
```
|
79 |
+
|
80 |
+
## BibTeX entry and citation info
|
81 |
+
|
82 |
+
```
|
83 |
+
@book{orekhov2020min,
|
84 |
+
title={Мин шиғриәт үҙе... Компьютер шиғырҙар},
|
85 |
+
author={Орехов, Б.В.},
|
86 |
+
isbn={9785961306675},
|
87 |
+
url={http://nevmenandr.net/personalia/Min_shigriet_yze.pdf},
|
88 |
+
year={2020},
|
89 |
+
publisher={Mir pechati}
|
90 |
+
}
|
91 |
+
|
92 |
+
@book{orekhov2019bashkir,
|
93 |
+
title={Башкирский стих ХХ века: корпусное исследование},
|
94 |
+
author={Орехов, Б.В.},
|
95 |
+
isbn={9785907189294},
|
96 |
+
url={http://nevmenandr.net/personalia/bverse_preview.pdf},
|
97 |
+
year={2019},
|
98 |
+
publisher={Alete{\u\i}}i︠a︡}
|
99 |
+
}
|
100 |
+
```
|