char-based-lstm-russian-bakhtin

This generative text model was trained using Andrej Karpathy's code on texts by the Russian philosopher Mikhail Bakhtin. Models of this type well represent individual style.

Model was trained with size 1024 and 3 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 18 epochs with loss 0.6292, the other after 19 epochs with loss 0.6292. These metrics are in the file name.

Usage

The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

th sample.lua lm_lstm_epoch19.14_0.6292.t7

Train data

Train data is non free due to copyright restrictions. The texts in the training sample were materials from Bakhtin's collected works.

What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.

Publication

Examples of text generation have been published in a special journal devoted to Bakhtin's heritage:

Орехов, Борис Валерьевич. "Нейронная сеть переписывает М. М. Бахтина." Диалог. Карнавал. Хронотоп 1 (2018): 179-184.

This publication presented as pdf file in this repository.

Samples

epoch 19, temperature 0.6

Диалогического мира и предложения), и хронотопические факты в телесном плане и своеобразное влияние на небольшой из них он принимает и  чисто стилистическая свобода и подчиняется в пределах одного времени ее разнообразия и самосознания и необходимости и внешнего сознания одного и того, что совпадает с другим человеком этого типа. В своем отношении Ренессанса произведение все может стать внутренней диалогической установкой в другом голосе. На протяжении всего этого он дает и понятое в пределах одного контекста поступка и даже в низкой  законы и карнавальные стихии издания образов Рабле и Пантагрюэля). В первом проявлении отдельных средств развития романа оказывается стилизованного символа и подчеркивает возможную переплетается с фамильярным миром и смехом и действительным и не завершающим кругозором между эпизодами и именно в нем представляются предметно и сколько на самом деле, который понимает его в монологическом пространстве, и они воспринимались в первой книге. Наиболее определенный и внешнее отношение к границам воспитания его героев и его слова

epoch 19,_temperature 0.2

Диалог и др.). Совершенно необходимо отметить, что в нем подчеркнул в последующем подходе к нему подчеркнуты и возможны в процессе полного сознания и понимания в пределах одного произведения и в построении всех доминантов в отношении к нему в нем нет ни в какой бы ни были подлинно отношением к себе самому, не может быть принципиально возможно и не возможно в полном смысле и в образе и в процессе объектного мира. В этом отношении все же объектно переживаются в нем и в сознании в нем не может быть определенным и не может быть возможно и не может быть понято и понято и не может быть изображают и определяет его внешнее значение и возможно и не отвлеченное от него в пределах одного предметного возможного внешнего видения и возможного сознания и не может быть понято пониманием всего прошлого и полного пространства. В процессе образа как бы не возможна и все они не принимают и не отвлеченное от него в нем и не может быть понято и не принципиально не может быть понято и понято и не может быть определено и отношение к нему и в полном смысле и в образе и в образе его внешнего мира, которое он не может быть возможно и полное отношение к нему в нем и в нем не было не может быть принципиально относится к нему и не может быть принципиально не может быть понято и понято и не может быть понято и не отвлеченное от него не может быть отношением к нему и возможно и понятое и не отвлеченное от него в самом поступке и в пределах одного мира в его собственном смысле и в отношении к нему в пределах того же предмета и в пределах одного из одной жизни и не может быть понято в отношении к нему и в нем не может быть возможно и не может быть понято и не возможно в нем не может быть принципиально не может быть принципиально не может быть понято и отвлеченное отношение к нему и в пределах одного объекта и не может быть понято и не отделено от всех сознаний в его объектности и возможность возможного в пределах одного высказывания, в котором они не может быть объектно принимать в нем в нем и в прошлом и не может быть создано совершенно необходимо и не возможно в объективном мире. В пределах одного отношения к миру и в современном пространстве и в нем не может быть принципиально не может быть понято и объективно не может быть понято и не может быть объективно производить на него и не возможно в нем и в нем не может быть объектным и не отвлеченным от него в нем возможное и не предметное и непосредственное и непосредственное влияние на протяжение всего слова и возможно в нем возможно в нем и в пределах одного высказывания и возможно в образах исторического отношения к нему в объективном объекте и в едином и внешнем и непосредственном мире.

BibTeX entry and citation info

@article{orekhov2018bakhtinnn,
  title={Нейронная сеть переписывает М. М. Бахтина},
  author={Орехов, Борис Валерьевич},
  journal={Диалог. Карнавал. Хронотоп},
  volume={1},
  pages={179--184},
  year={2018}
  url={http://nevmenandr.net/dkx/pdf/n45-177-184.pdf}
}