Nástroj pro sběr paralelních textů z webu

Abstract

Aplikace WebCorpus byla implementována s cílem vyvinout funkční nástroj pro tvorbu paralelního (česko-anglického) korpusu z daných webů. Paralelním korpusem rozumíme množinu dvojic textů, které jsou si s největší pravděpodobností překladem. Tato práce detailně popisuje zvolený algoritmus a porovnává implementované metody. Během vyhledávání paralelních dokumentů porovnáváme informace o struktuře textu a nejčastějších slovech. Nakonec dokládáme použitelnost celé aplikace spárováním textů z jednoho velkého a několika menších webů.

The aim of the thesis is to develop a complex tool for creating parallel corpora for a pair of languages (Czech and English) from a given list of websites. A parallel corpus is a set of pairs of documents which are translations of each other. The thesis describes the chosen algorithm in detail and compares all implemented methods. We use document structure as well as most frequent words and their translations to find matching documents in the collection. Finally, we con rm the applicability of the whole system by aligning texts from one bigger and a few smaller websites.