Asistent pro psaní textu založený na velkých jazykových modelech

Abstract

Standardní přístup k mnoha úlohám zpracování přirozeného jazyka je vzít existující předtrénovaný velký jazykový model a dotrénovat jej pro danou úlohu. Tento přístup vede k tomu, že pro každou úlohu vznikne samostatný model, navíc je nutné dotrénování opakovat při přechodu na lepší předtrénovaný model. Tato práce zkoumá možnosti po- užití jediného veřejně dostupného modelu pro tři různé úlohy bez nutnosti dotrénování. Představujeme Preditor, asistenta pro psaní, který umí přepsat větu po nahrazení jed- noho z jejích slov, navrhuje pokračování věty a navrhuje slova, která se hodí doprostřed věty. Systém navrhujeme nezávisle na konkrétním modelu, což umožňuje jednoduchý pře- chod na nový model. Poskytujeme také rozšíření, které integruje asistenta do textového editoru. 1

A standard approach to many natural language processing tasks is to take an existing, pre-trained large language model and fine-tune it for the given task. Such an approach leads to having a separate model for each task; furthermore, the fine-tuning must be repeated when upgrading to a new pre-trained model. This thesis explores the possibilities of using a single off-the-shelf model for three different tasks without fine-tuning. We present Preditor, a writing assistant that supports rewriting a sentence after replacing one of its words, suggesting continuations, and suggesting words that fit into a sentence. We design the system in a model-agnostic way, making it possible to upgrade to a new model with little effort. We also provide an extension that integrates the assistant into the text editor. 1