Vstupní data a jejich význam pro vrstevnaté neuronové sítě

Abstract

Neuronové sítě stále zůstávají konkurence schopným modelem v některých oblastech strojového učení. Jednou z jejich nevýhod je však jejich tendence k předurčení, která může vážne omezit jejich schopnost zobecňovat. V předložené práci studujeme různé regularizační techniky založené na vynucování interních reprezentací v neuronových sítích. Interní reprezentace jsou analyzovány na základě nového teoretického modelu založeného na teorii informace, ze kterého následně vychází regularizátor minimalizující entropii interníchh reprezentací. Tento regularizátor založený na minimalizaci entropie je výpočetne náročný a z tohoto důvodu je v práci použit především jako teoretická motivace. Z důvodu potřeby efektivnější a flexibilnejší regularizace byl navrhnut nový regularizátor založený na Gaussovském směsovém modelu aktivací neuronů. Tento model je srovnán s existujícími metodami vynucování interních reprezentací v experimentální části práce. Výsledky navrhnutého modelu jsou lepší především na klasifikačních úlohách.

In the present work we study In some areas, artificial feed forward neural networks are still a competitive machine learning model. Unfortunately they tend to overfit the training data, which limits their ability to generalize. We study methods for regularization based on enforcing internal structure of the network. We analyze internal representations using a theoretical model based on information theory. Based on this study, we propose a regularizer that minimizes the overall entropy of internal representations. The entropy-based regularizer is computationally demanding and we use it primarily as a theoretical motivation. To develop an efficient and flexible implementation, we design a Gaussian mixture model of activations. In the experimental part, we compare our model with the existing work based on enforcement of internal representations. The presented Gaussian mixture model regularizer yields better results especially for classification tasks.