Story Generation Using Dynamic Text Infilling

Abstract

Story generation, especially generating longer stories, is a complex problem regarding coherency and repetition. Even hierarchically generated stories may diverge from the outline due to the nature of left-to-right autoregressive decoding, which provides only a weak supervision signal. An alternative to left-to-right decoding is text infilling, which may achieve better coherence in text generation based on providing the left and right context. The goal of the work is to examine the potential of text infilling for generating stories. We propose a method of story generation by expanding the plot by infilling sentences between the plot points. We evaluate the generated stories and compare them to stories generated by prompted large language model. The results show that stories generated by text infilling are worse than stories generated by the large language model. Even though they achieve good coherence, the stories generated by text infilling are deemed confusing and repetitive. 1

Generovanie príbehov, najmä generovanie dlhších príbehov, je komplexný problém z hľadiska koherencie a opakovania. Aj hierarchicky generované príbehy sa môžu líšiť od osnovy kvôli povahe ľavo-pravého autoregresívneho dekódovania, ktoré poskytuje len slabý signál dohľadu. Alternatívou k dekódovaniu zľava doprava je vypĺňanie textu, ktoré môže dosahovať lepšiu koherenciu pri generovaní textu na základe poskytnutia ľavého a pravého kontextu. Cieľom práce je preskúmať potenciál generovania príbehov vypĺňaním textu. Navrhu- jeme spôsob generovania príbehov rozšírením osnovy dopĺňaním viet medzi jednotlivé body osnovy. Vygenerované príbehy vyhodnocujeme a porovnávame s príbehmi vygenerovanými veľkým jazykovým modelom. Výsledky ukazujú, že príbehy generované dopĺňaním textu sú horšie ako príbehy generované veľkým jazykovým modelom. Aj napriek dosahu dobrej koherencie, príbehy generované vypĺňaním textu sú vyhodnotené ako mätúce a obsahu- júce opakujúce sa sekvencie. 1