Konvergence stochastického gradientu v úlohách strojového učení

Abstract

The aim of this thesis is solving minimization problems where the objective function is a sum of a differentiable (yet possibly non-convex) and general convex function. We focus on methods of stochastic and projected gradient descent from machine learning. By combining those two approaches we introduce an algorithm for solving such problems. The work is composed in a gradual manner where we firstly define necessary concepts needed for describing RSPG algorithm. Then we proceed to show the convergence of the algorithm for both convex and non-convex objective functions. A short numerical study is also included at the end. 1

Tato práce se zabývá hledáním minima účelové funkce, která je součtem diferenco- vatelné (možno i nekonvexní) a obecné konvexní funkce. Zaměřili jsme se na metody stochastického a projektovaného gradientového sestupu ze strojového učení. Představu- jeme metodu kombinující oba přístupy. Postupně zavedeme potřebné pojmy a představíme RSPG algoritmus schopný řešit daný problém. Dokážeme jeho konvergenci pro konvexní i nekonvexní funkce. Součástí práce je i krátká numerická studie. 1