char-based-lstm-russian-poetry-mandelshtam

This model was trained using Andrej Karpathy's code on texts by the Russian poet Osip Mandelstam. Models of this type well represent individual poetic style.

Model was trained with size 512 and 7 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 28 epochs with loss 1.0705, the other after 50 epochs with loss 1.1207. These metrics are in the file name.

Usage

The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

th sample.lua lm_lstm_epoch50.00_1.1207.t7

Train data

Train data is free and inclded in this repository as input.txt file.

What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

Publication

The texts that produced this model were used in an experiment to define poetic style.

Samples

epoch 28.4, loss 1.0705, temperature 0.3

Слитко мне поднял в нем,
И в легкий день подобились в облака
И не запахнут в долгом оберений подводка.

И поднимал в дома и поднимали,
И в крепкой просторной каменный подражник
В нас над небесах и в полной белой колесе
И переставил колоколенной города.

И в подвождей светлой городов подвитает
И воздух воздуха не полупростить
И как поднимал и воды пробежала,
И весь на полночной домой.

epoch 28.4,_loss 1.0705,_temperature 0.6

Поднять в еденный воздух над город.

И потремен от крепкой закони,
Как в небе меня мое осенницы,
И дон на мелькает подворонного кого,
И задыхаешь мы удалой
И светло передуха себя,
И соломинка могла из моряю
Не замечательно ложить,
В себя над ожерады и коленей.

epoch 50.0,_loss 1.1207,_temperature 0.5

И в небе невой подорогах запорова,
Прополнить без тебе не волна,
Как же бесконечного морщинах,
И слабой солнце полноводная стекла.

Не ужасные пламенное слово
Слово в советском судия звездами крепкой нам он в муревях облаков,
Сказал твой бедного замереть --
И не видно морской неловко!

epoch 50.0,_loss 1.1207,_temperature 0.7

Как в избежал созданий вин.

В столках небесах от зазнаванья намеженье.
А в бах колесо в извратной сиянье,
Но не слушают горький песок,
Единый под куполом громом,
И под бесполесной полубежают запым.
На мире не мог быстро музыки,
Любовью высокой двойней,
Когда б моей сердце, ни слазах полноводная видать.
Все царственный там -- ее не выпалы
И пророческой крестьянские простороном,
И клена мечта на кротких глаз.

BibTeX entry and citation info

@misc{orekhov2023identifying,
      title={Identifying the style by a qualified reader on a short fragment of generated poetry}, 
      author={Boris Orekhov},
      year={2023},
      eprint={2306.02771},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}