Přesnost automatických titulků generovaných platformou Zoom - je na ně spoleh?

Abstract

Tato diplomová práce se zabývá automatickými titulky na videokonferenční platformě Zoom. Klade si za cíl prozkoumat, nakolik automatické titulky mohou pomáhat tlumočníkům, a zda jsou dostatečně přesné, aby se na ně tlumočníci při tlumočení videokonferencí mohli spolehnout. V teoretické části se práce zabývá tématy automatických titulků, technologie ASR, simultánního tlumočení, tlumočení videokonferencí a simultánního tlumočení s textem. Zvláštní pozornost je věnovaná kognitivní zátěži při tlumočení. Teoretická část je zakončena shrnutím dosavadního výzkumu na poli tlumočení s automatickými titulky - jaký dopad mají automatické titulky na kognitivní zátěž tlumočníka a jak jim mohou pomoci. Cílem empirické části je ověřit přesnost automatických titulků na Zoomu ve třech jazycích (čeština, angličtina, španělština). K tomu využíváme metriku NER. Věnujeme se jak celkové přesnosti, tak přesnosti v předem určených kategoriích (jména, zkratky, akronymy, čísla, termíny, výčty a negace), u kterých se domníváme, že automatické titulky mohou být tlumočníkům k užitku. Ukázalo se, že celková přesnost je napříč všemi třemi jazyky poměrně vysoká (průměrně 95 %) a v určitých kategoriích dosahují automatické titulky stabilní vysoké přesnosti (např. domácí jména, nižší řády čísel či termíny). Automatické titulky v...

This master's thesis deals with automated captions on the videoconference platform Zoom. It aims to examine how automated captions can help interpreters and whether they are accurate enough for the remote interprets to rely on. The theoretical part delves into topics such as automated captions, ASR technology, simultaneous interpreting, remote inrepreting, and simultaneous intepreting with text. Special attention is given to the cognitive load that intepreters experience while intepreting. The theoretical part concludes by summarizing existing research to date in the field of intepreting with automated captions - how automated captions impact intepreters' cognitive load, but also in which ways they can be helpful. The emphirical part aims to determine the accuracy of Zoom's automated captions in three different languages (Czech, English, and Spanish) using the NER metrics. The research focuses on overall accuracy as well as the accuracy in pre-established categories (names, abbreviations, acronyms, numbers, terms, ennumerations and negations), in which the author deems automated captions might be helpful to interpreters. The results show that the overall accuracy in all examined languages is high (averaging 95%) and the automated captions also steadily achieve high accuracy in certain categories...