char-based-lstm-russian-poetry-pasternak

This model was trained using Andrej Karpathy's code on early texts by the Russian poet Boris Pasternak. Models of this type well represent individual poetic style.

Model was trained with size 512 and 3 layers, dropout 0.5.

There are 3 checkpoints of this model presented in the repository. One after 9 epochs with loss 1.3333, the other after 50 epochs with loss 1.1266 and the last after 73 epochs with loss 1.1489. These metrics are in the file name.

Usage

The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

th sample.lua lm_lstm_epoch73.26_1.1489.t7

Train data

Train data is not free due to copyright restrictions.

What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

Publication

The texts that produced this model were used in an experiment to define poetic style.

Samples

epoch 50, temperature 0.6

Не оно лет. Как на воздух, как всегда И спорить не воздух, как неслышной от каланя Под перегнуть в нервадом ветер подкосновенья,
И это было из ливок.
В засветно и билисточенье,
И скользит на столе заставлять и воздух,
Как в опозденьи глубок, Следаясь в перебережье Белого сказанье полусненный,
И голоженный быль подъезд.
Она — нахимает семи снега самой и свинцовый, Припомнить меж затуманной Небо, как коньковестий как след Ом велите, как приплодный небывали солнце, пыльные область детской веносился И приимет над перекупами в бордом на бург полночей,
Случайно этот поздной Небосклян.
И видит непомой оглика, Подкорно в рассветом, Сонный избегал закатом в болоком.
И не выправнять сердце глаза, и вихрь по полуснином, как от пути поступали, и свист и ворочи, Подносятся водоброманной трети,
Но в стоял колышишек когда-никогда На свисте постилы к спиртом по твоей пороса и гальцев, Близности поток Солнце соловой уже В своему жить бессонной.
Как всегда, не выкатают в подуманьем.
Не во странцем — крушеной ночи глаза И в полусаде, Примерзанье под понять ее терпий.

epoch 73,_temperature 0.5

Мой долго на ближе лицом, Не весь весенье, как коропок,
Он валились с ней его мечулись к ноги, как копленный догадок,
И тем под ним приветственный форм под комнат держит свой светильного перепаданный клин Он забот облака Костяшком.
И задувает свой небес месяц подалов,
И случайной ночь и подговорил.
И вот он не проплыла, Спать в таких задолженье по устами Висла расстанут в степи запородившего бездонным лотком Волненьем вздох над корме, Ползнет в барельник.
Слепой устала в воду и полуберевье.
Захлебнувшись в солнце впросьба Волной под стены полузнаю,
И путь просторов и все долг порывать Пожар набит и красным Полудня Волны, шелохнется марганьем Костра.
О страшной небо подымаются в мере И мыслится по полуслепаньи Смотрит в поступам.
И вот и снастя на капель, со мной душей И напоминал и стариков и непометило,
В полях забираются в постолам.
И солнце — свет. Про небо ли исчерпали И пролетов и звезд.
Что простор, и семистальский извозы, как сплошной полдень в городов кормотать и сосенья.

epoch 73,_temperature 0.6

Мой души дождь, как конце и кальсе 
Вернутся в лице подборожденье Рождество,
И кто весь воскользин за полудень 
На смерти подбираемых городов,
От прядалой звездочно пропел.
Не жизнь светал он угадал, и объятья 
И городов по ночью в реке, 
Как от колони.
Небо забывающийся в любви 
Подсыпать дорогой завертившего солнца.
Сколько утолько мне, 
Под слезы Париж и твой пролитой подкисы 
На желтом, подобно караванье.
Ты взявшись от стихам в краю 
И непогоду моих и прижель, как сохраннаем в брезженье под конце, 
Без пути под переселенья 

BibTeX entry and citation info

@misc{orekhov2023identifying,
      title={Identifying the style by a qualified reader on a short fragment of generated poetry}, 
      author={Boris Orekhov},
      year={2023},
      eprint={2306.02771},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}