Multi-objective Neural Architecture Search

Abstract

Multi-objective Neural Architecture Search Bc. Ren'ata Pivodov'a Abstract Neural architecture search is a promising approach to automatic neural net- work architecture design, which can save a designer's work. The real world contains a lot of problems, which are time-consuming to solve even by neural architecture search techniques. A lot of these problems require architectures optimized according to different criteria such as quality, time of search, etc. In this work, we present two methods extending the CoDeepNEAT, a state-of- the-art neural architecture search algorithm. The Lamarckian CoDeepNEAT is the CoDeepNEAT enriched with weight inheritance implementation inspired by the Lamarckian theory of evolution. The Multi-objective CoDeepNEAT per- forms a multi-objective minimization of two chosen neural network objectives - the error rate and the number of floating point operations. Thanks to the base NSGA-II algorithm, the Multi-objective CoDeepNEAT searches for well- performing and fast networks. The methods are evaluated on the MNIST and CIFAR-10 datasets. 1

Vícekriteriální hledání architektur neuronových sítí Bc. Renáta Pivodová Abstrakt Hledání architektur neuronových sítí je slibnou metodou automatizovaného ná- vrhu architektur neuronových sítí, která šetří práci a čas vývojářů. V reálném světě nalezneme mnoho problémů, jejichž řešení je náročné i pomocí technik hledání architektur neuronových sítí. Spousta z těchto problémů vyžaduje řešení s optimalizací více kritérií, jako je jeho kvalita, doba hledání etc. V této práci představujeme dvě metody rozšiřující CoDeepNEAT, známý algoritmus hledání architektur neuronových sítí. Lamarckistický CoDeepNEAT je CoDeepNEAT obohacený o implementaci dědění neuronových vah, která byla inspirována Lamarckovou teorií evoluce. Vícekriteriální CoDeepNEAT provádí vícekriteriální minimalizaci dvou vybraných vlastností neuronových sítí - míry chybovosti a počtu operací s plovoucí desetinnou čárkou. Díky algoritmu NSGA-II, který je použit jako základ pro naši metodu, hledá Vícekriteriální CoDeepNEAT dobře fungující a rychlé sítě. Metody jsou vyhodnoceny na datasetech MNIST a CIFAR-10. 1