Generative models for task and motion planning

Abstract

Plánování úkolů a pohybů zahrnuje nalezení bezkolizních trajektorií v konfiguračním prostoru, ale také určení posloupnosti diskrétních akcí, jako je uchopení nebo umístění objektu, které splňují omezení specifická pro daný úkol. Toto spojení diskrétního plánování úkolů se spojitým plánováním po- hybu vytváří kombinatorickou explozi možností, což výrazně zvyšuje složitost problému. Cílem práce je překlenout propast mezi klasickým plánováním pohybu a plánováním úkolů a pohybů vyhodnocením používaných plánovacích tech- nik, generováním datasetu expertních bezkolizních trajektorií a návrhem ar- chitektury generativního difuzního modelu schopného generalizace. Navržený model je trénován na expertních trajektoriích ve vygenerovaných 2D scénách. Natrénovaný model je následně kvalitativně analyzován a kvantitativně porovnáván s tradičními plánovači s cílem posoudit jeho výkonnost a schopnost respek- tovat omezení dané scény a úkolu. Mezi hlavní přínosy práce patří vývoj technik pro zajištění dodržování omezení během inference a analýza schopnosti modelu generalizovat na scénách, které nebyly viděny během tréninku.

Task and motion planning involves finding collision-free paths in the con- figuration space, but also determining a sequence of high-level discrete ac- tions, such as grasping or placing, that satisfy task-specific constraints. This coupling of discrete task planning with continuous motion planning creates a combinatorial explosion of possibilities, significantly increasing complexity. The thesis aims to bridge the gap between classical motion planning and task and motion planning by evaluating state-of-the-art planning methods, generating expert collision-free trajectories for dataset creation, and design- ing a generative model architecture capable of generalizing to new tasks while respecting task and motion planning constraints. The proposed model is trained in diverse 2D environments and is qualitatively analyzed and quan- titatively compared with traditional planners to assess its performance, scal- ability, and ability to handle complex constraints. Key contributions include the development of techniques to ensure con- straint adherence during inference and the analysis of the model's general- ization capabilities in unseen scenarios.