Heuristic Learning for Domain-independent Planning

Abstract

Automatizované plánování se zabývá hledáním posloupnosti akcí, které vedou k dosažení cílového stavu ze zadaného počátečního stavu, např. řešení Rubikovy kostky, doručování balíků atd. Moderní plánovací techniky jsou založené na informovaném dopředném prohledávání řízeném heuristikou, kde heuristika poskytuje odhad vzdálenosti daného stavu od cílového stavu. V této práci představujeme techniky pro automatické vytvoření efektivní heuristiky pro jakoukoli zadanou plánovací doménu. Navržené řešení je založené na trénování hluboké neuronové sítě s využitím dříve vyřešených plánovacích problémů ze stejné domény. Navrhli jsme nový způsob extrakce příznaků pro stavy plánovacích problémů, která není závislá na využití existujících heuristik. Natrénovanou síť je možné využít jako heuristiku při řešení jakéhokoli problému z dané domény bez ohledu na velikost problému. Experimenty ukazují, že navržená technika je kompetitivní s populární doménově nezávislou heuristikou. Představujeme také teoretický rámec pro formální analýzu vlastností naučených heuristik. Formulujeme a dokazujeme věty, které stanovují meze na výkonnost naučených heuristik v nejhorším případě.

Automated planning deals with the problem of finding a sequence of actions leading from a given state to a desired state, e.g., solving Rubik's Cube, delivering parcels, etc. The state-of-the-art automated planning techniques exploit informed forward search guided by a heuristic, where the heuristic estimates a distance from a state to a goal state. In this thesis, we present a technique to automatically construct an efficient heuristic for a given planning domain. The proposed approach is based on training a deep neural network using a set of previously solved planning problems from the same domain. We use a novel way of extracting features for states which doesn't depend on usage of existing heuristics. The trained network can be used as a heuristic on any problem from the domain of interest without any limitation on the problem size. Our experiments show that the technique is competitive with popular domain-independent heuristic. We also introduce a theoretical framework to formally analyze behavior of learned heuristics. We state and prove several theorems that establish bounds on the worst-case performance of learned heuristics.