Creating a Bilingual Dictionary using Wikipedia

Abstract

Název práce: Tvorba dvojjazycného slovníku s použitím Wikipedie Autor: Angelina Ivanova Katedra/ Ústav: Ústav formální a aplikované lingvistiky (32-ÚFAL) Vedoucí diplomové práce: RNDr. Daniel Zeman Ph.D. Abstrakt: Strojove citelné slovníky hrají duležitou roli v pocítacové lingvistice. Osved- cily se v oblastech jako je strojový preklad a mezijazykové dobývání informací. V této práci zkoumáme kvalitu a obsah dvojjazycných anglicko-ruských slovníku automaticky získaných z Wikipedie. Slovníky získané z Wikipedie (zde jim pro jednoduchost ríkáme Wiki-slovníky, ale tento pojem nelze zamenovat s Wikislovníkem na http://cs.wiktionary.org) se podstatne liší od tradicních slovníku: pokrytí základní terminologie z Muellerova slovníku je 7,42 %. Pokusy s Wiki-slovníky zabudovanými do trénovacích dat pro strojový preklad vedly k malému, nicméne statisticky významnému poklesu kvality prekladu ve srovnání s experimenty bez Wiki-slovníku. Predpokládáme, že hlavním duvodem je rozdílnost domén mezi slovníkem a korpusem. Na testovacích datech získaných z clánku Wikipedie naopak slovník kvalitu prekladu zlepšuje. V této práci ukazujeme, jak velký je rozdíl mezi slovníky získanými ze struk- tury Wikipedie a tradicními slovníky. Wiki-slovníky...

Title: Creating a Bilingual Dictionary using Wikipedia Author: Angelina Ivanova Department/Institute: Institute of Formal and Applied Linguistics (32-ÚFAL) Supervisor of the master thesis: RNDr. Daniel Zeman Ph.D. Abstract: Machine-readable dictionaries play important role in the research area of com- putational linguistics. They gained popularity in such fields as machine translation and cross-language information extraction. In this thesis we investigate the quality and content of bilingual English-Russian dictionaries generated from Wikipedia link structure. Wiki-dictionaries differ dramatically from the traditional dictionaries: the re- call of the basic terminology on Mueller's dictionary was 7.42%. Machine translation experiments with Wiki-dictionary incorporated into the training set resulted in the rather small, but statistically significant drop of the the quality of the translation compared to the experiment without Wiki-dictionary. We supposed that the main reason was domain difference between the dictio- nary and the corpus and got some evidence that on the test set collected from Wikipedia articles the model with incorporated dictionary performed better. In this work we show how big the difference between the dictionaries de- veloped from the Wikipedia link structure and the traditional...