Statistické rozpoznávání jazyka

Abstract

Tato práce pojednává o aplikaci využívající metody strojového učení k automatickému rozpoznávání jazyka a kódování. Postupně jsou zde rozebírána různá témata související s projektem. Stručný popis aplikace slouží k vytvoření představy o tom, jak program vypadá a jak se používá. V kapitole o statistických metodách je vysvětlen n-gramový jazykový model, EM-vyhlazování a křížová entropie. Rozebrány jsou některé partie implementace, například formát datových souborů a vnitřní reprezentace slov pomocí trie. Nechybí vyhodnocení rozsáhlého souboru experimentů, které sloužily k ověření spolehlivosti výsledků aplikace. Součástí je stručný souhrn možných použití vytvořeného softwaru.

This work deals with the application that uses the machine-learning methods for the automatic language and encoding recognition. Various topics related to the project are analysed here one by one. Brief descriptionof the application should give the reader an idea about the features andthe usage of the program. The n-gram language model, the EM-smoothing algorithm and the entropy is explained in the chapter about the statistical methods. Some implementation matters are subject of analysis, for example the data file format and the inner word representation using the trie. The interpretation of a vast set of experiments evaluating the precision of the application is included as well as a short summary of the possible usage of the software.