nevmenandr commited on
Commit
2be357c
1 Parent(s): 5384a30

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +100 -3
README.md CHANGED
@@ -1,3 +1,100 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - ba
5
+ tags:
6
+ - natural-language-processing
7
+ - poetry-generation
8
+ - torch
9
+ - lstm
10
+ ---
11
+
12
+ This generative model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by arond 100 Bashkir poets.
13
+
14
+ Model was trained with size 1024 and 3 layers, dropout 0.5.
15
+
16
+ There are 2 checkpoints of this model presented in the repository. One after 31 epochs with loss 0.8306, the other after 50 epochs with loss 0.8451. These metrics are in the file name.
17
+
18
+ ## Usage
19
+
20
+ The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used!
21
+
22
+ ```bash
23
+ th sample.lua lm_lstm_epoch50.00_0.8451.t7
24
+ ```
25
+
26
+ ## Train data
27
+
28
+ Train data is non free due to copyright restrictions. Texts from the [Bashkir poetry corpus](http://web-corpora.net/bashcorpus/), digitized for a [study on the history of Bashkir verse](https://books.google.ru/books?id=6rkkzAEACAAJ), are used as a training corpus.
29
+
30
+ ## What for?
31
+
32
+ In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
33
+
34
+ ## Publication
35
+
36
+ Examples of text generation [have been published in a book](http://nevmenandr.net/personalia/Min_shigriet_yze.pdf) in Bashkir language.
37
+
38
+ This book included as pdf file in this repository.
39
+
40
+ ## Samples
41
+
42
+ ### epoch 50, temperature 0.4
43
+
44
+ ```
45
+ Шат йөрәктән йәшел тулҡында.
46
+ Бар тип белмәй белмәй белем шаулай,
47
+ Беҙ беләбеҙ беҙҙең башҡортостан.
48
+ Тау башында тормош килеп керҙе,
49
+ Булыр ине төнгө тамсы булып.
50
+ Тамырын күреп кенә йөрөй ул
51
+ Алыҫ елдәр салғы ташланы.
52
+
53
+ Кемдәр көткән кеше йөрәгенә
54
+ Күкрәгемдә йөрөй яланда.
55
+ ```
56
+
57
+ ### epoch 50, temperature 0.6
58
+
59
+ ```
60
+ Ята гүзәл йәш кейек.
61
+ Йәнде тулап китә икән,
62
+ Ҡапыл ерҙән бер туҡтау.
63
+ Ул да ҡаты йәйҙең башҡа бер ғаләмде
64
+ Дуҫтарына ҡарап батырҙы.
65
+ Бер ҡарашы көндә кис булды ул,
66
+ Йырлап йөрөй таныш кешегә.
67
+ Урал аша тотҡан ҡайғыларын
68
+ Бөгөн тик булды ул тауҙарға.
69
+ Бер кем белә бөгөн яраларҙан
70
+ Мандылдарҙан тағы бер сәскә.
71
+ Сафлыҡтарҙы һаҡлап шатлыҡ килә,
72
+ Тап булған һайын тауҙар.
73
+
74
+ Көндәр кеүек, йәмле шыршы тауышы
75
+ Тау-тау булып күккә табынған.
76
+ Ара тора йәндәр менән белдем,
77
+ Бер ҡараһаң, һаман бер сабый.
78
+ ```
79
+
80
+ ## BibTeX entry and citation info
81
+
82
+ ```
83
+ @book{orekhov2020min,
84
+ title={Мин шиғриәт үҙе... Компьютер шиғырҙар},
85
+ author={Орехов, Б.В.},
86
+ isbn={9785961306675},
87
+ url={http://nevmenandr.net/personalia/Min_shigriet_yze.pdf},
88
+ year={2020},
89
+ publisher={Mir pechati}
90
+ }
91
+
92
+ @book{orekhov2019bashkir,
93
+ title={Башкирский стих ХХ века: корпусное исследование},
94
+ author={Орехов, Б.В.},
95
+ isbn={9785907189294},
96
+ url={http://nevmenandr.net/personalia/bverse_preview.pdf},
97
+ year={2019},
98
+ publisher={Alete{\u\i}}i︠a︡}
99
+ }
100
+ ```