EM algorithm for truncated Gaussian mixtures

Abstract

The expectation-maximization iterative algorithm is widely used in parameter estimation when dealing with missing information. Such a situation can naturally arise when we observe the data of our interest on a bounded observation window. This thesis focuses on the application of the EM algorithm for truncated Gaussian mixtures and compares the proposed algorithm with the approach in a previously published article, see Lee and Scott [2012], where it uses a heuristic simplification and is not sufficiently supported mathematically. We also compare the behavior of the proposed algorithm with the procedure from the article in a series of simulated experiments, as well as in analyzing a real dataset. We also provide Python implementation of the EM algorithm for truncated Gaussian mixtures.

Iterativní algoritmus expectation-maximization je často používán pro odhad parametrů při práci s chybějícími informacemi. Taková situace může přirozeně nastat v případě, kdy data pozorujeme na ohraničeném okně. Tato práce se zaměřuje na aplikaci EM algoritmu pro useknuté gaussovské směsi a porovnává navržený algoritmus s přístupem z článku Lee a Scott [2012], který využívá heuristické zjednodušení a není dostatečně matematicky podložen. Chování navrženého algoritmu je také porovnáno s postupem z článku za pomoci simulačních studií a analýzy reálných dat. Práce také poskytuje implementaci EM algoritmu pro useknuté gaussovské směsi v jazyku Python.