Rozhodovací stromy a extrakce znalostí

Abstract

The goal of data mining is to extract knowledge, dependencies and rules from data sets. Many complex methods were developed to solve it. This thesis presents some of the most important methods, which include the decision trees with algorithms ID3, C4.5 and CART, neural networks like multilayer neural networks with the backpropagation algorithm, RBF networks, Kohonens maps and some modifications of LVQ method. There are also described some clustering methods like hierarchical clustering, QT clustering, kmeans method and its fuzzy modification. The work also includes data pre-processing techniques, which are very important in order to obtain better results of data mining process. Experimental part of the work compares the presented methods by means of the results of many tests on real-world data sets. The results can be used as a guide to choose an appropriate method and its parameters for some given data set. In this work there is presented author's implementation of the decision trees C4.5 and CART in C#. In the application it is possible to watch details of algorithms work. The application provides an API enabling an implementation of new algorithms.

Cílem dobývání znalostí je získávat z dat závislosti či pravidla, k čemuž se používá velké množství netriviálních metod. Vybrané zástupce těchto metod představuje tato práce. Jedná se zejména o metody konstrukce rozhodovacích stromů ID3, C4.5 a CART, o metody založené na principu umělých neuronových sítí, mezi které patří vrstevnaté neuronové sítě typu zpětného šíření, sítě typu RBF, Kohonenovy mapy a různé varianty metody LVQ. Dále jsou v práci popsány klastrovací metody hierarchického shlukování, QT klastrování, klastrování metodou k-středů a jeho fuzzy obdoba. Prostor je zde věnován i technikám vhodným k předzpracování dat, jejichž správné provedení je důležitým předpokladem pro získání dobrých výsledků procesu dobývání znalostí. Experimentální část této práce porovnává popisované metody na základě testů na sadách reálných dat. Výsledky testů mohou být použity jako vodítko pro výběr nejlepší metody a jejích parametrů při dobývání znalostí z daných dat. K práci je přiložena vlastní implementace rozhodovacích stromů v jazyce C#, která umožňuje detailní sledování činnosti implementovaných metod C4.5 a CART. Aplikace poskytuje API pro programování vlastních algoritmů konstrukce rozhodovacích stromů.