Methods of User-Assisted Summarization of Meetings

Abstract

Automated minuting, or meeting summarization, is the task of accurately capturing the contents of a meeting in a short text or in bullet points. Recently, a lot of progress has happened in this area, largely due to the rise of the large language models. However, most fully automated approaches have severe limitations; either their outputs are vague or they are prone to hallucinations. We explore the possibility of user-assisted minuting to provide factual accuracy as well as coverage. We introduce a novel open-source tool, Minuteman, integrated with JitSi Meet to explore the methods by which users can interact with summarization models. We then analyze data gathered from multiple experiments with users and show how similar means of interaction can be of use in increasing summary quality. 1

Automatické zapisování schůzek je oblastí, ve které bylo za posledních několik let dosaženo velkých pokroků, zejména díky úspěchům velkých jazykových modelů. Plně automatické přístupy jsou ale pro seriózní použití stále velmi nespolehlivé. Modely halu- cinují, generují nepřesný výstup nebo opomínají důležité informace a je těžké jim plně důvěřovat. Pro překonání těchto nedostatků zavádíme nástroj Minuteman pro snadnou uživatelskou interakci se zapisovacími modely a jejich výstupy. Nástroj generuje živý transkript schůzky a iterativně tvoří její zápis, přičemž obojí ukládá do sdíleného edi- toru, aby uživatelé na tvorbě zápisků a opravách modelů mohli spolupracovat. Uvádíme popis našich experimentů s tvorbou vlastních zapisovacích modelů. Nakonec připoju- jeme vyhodnocení použití nástroje při zkušebních schůzkách a posuzujeme jeho hlavní přednosti a úskalí. 1