Aplikace EM-algoritmu

Abstract

EM algoritmus je velmi cenným nástrojem pro výpocty statistických problému, kde nám nejsou k dispozici všechna data. Jedná se o iteracní algoritmus, který v prvním kroku hledá odhady chybejících hodnot na základe podoby parametru z predchozí iterace a zadaných dat. Ciní tak pres podmínené strední hodnoty. V další fázi metodami maximální verohodnosti hledá odhad parametru maximalizující logaritmickou verohodnostní funkci, který predá do další iterace. Tento postup je opakován až do bodu, kdy jsou prírustky funkce mezi iteracemi tak malé, že se ukoncení postupu na výsledku závažneji neprojeví. Duležitou charakteristikou je monotónní konvergence za znacne obecných podmínek, ale ta na druhou stranu nepatrí mezi nejrychlejší, a proto je mnohokrát zapotrebí velkého množtví iterací.

EM algorithm is a very valuable tool in solving statistical problems, where the data presented is incomplete. It is an iterative algorithm, which in its first step estimates the missing data based on the parameter estimate from the last iteration and the given data and it does so by using the conditional expectation. In the second step it uses the maximum likelihood estimation to find the value that maximizes the logarithmic likelihood function and passes it along to the next iteration. This is repeated until the point, where the value increment of the logarithmic likelihood function is small enough to stop the algorithm without significant errors. A very important characteristic of this algorithm is its monotone convergence and that it does so under fairly general conditions. However the convergence itself is not very fast, and therefore at times requires a great number of iterations.