Řídké regresní modely

Abstract

V řídkých lineárních regresních modelech je efekt majority vysvětlujících proměn- ných na podmíněnou střední hodnotu odezvy nulový. Odhady vyprodukované metodou adaptivní lasso jsou řídké a mají věštecké vlastnosti, čili asymptoticky přesně identifi- kují množinu nulových složek vektoru regresních koeficientů a jsou √ n-konzistentními odhady nenulových regresních koeficientů. V první kapitole této diplomové práce jsou zopakovány vlastnosti odhadu metodou obyčejných nejmenších čtverců a uvedeny ar- gumenty pro využití vychýlených regularizovaných odhadů. V druhé a třetí kapitole se zabýváme metodami lasso a adaptivní lasso. Ve čtvrté, závěrečné kapitole je diskutována problematika statistické inference po výběru rysů a odvozena metoda ke konstrukci přes- ných intervalových odhadů v lineárním regresním modelu, jehož množina vysvětlujících proměnných byla zvolena jako množina aktivních složek odhadu metodou lasso. 1

In sparse linear regression models, the effect of the majority of explanatory variables on the conditional expected value of the response is null. The estimates produced by the adaptive lasso method are sparse and possess the oracle properties; meaning they provide asymptotically accurate identification of null elements within the regression coefficients vector while also being √ n-consistent estimates of the non-zero regression coefficients. In the first chapter of this diploma thesis, we revise the properties of the ordinary least squares estimate and we present arguments favoring the adoption of biased regularized estimates. In the second and third chapters, we examine the lasso and adaptive lasso methods. In the fourth and concluding chapter of this diploma thesis, we discuss the challenges of the post-model-selection inference and we derive a method for constructing exact confidence intervals in a linear regression model whose set of the explanatory vari- ables was chosen as a support of the lasso estimate. 1