Autoregressive action-conditioned 3D human motion synthesis using latent discrete codes
Autoregresivní syntéza lidského 3D pohybu pomocí latentních diskrétních kódů
diploma thesis (DEFENDED)
View/
Permanent link
http://hdl.handle.net/20.500.11956/175750Identifiers
Study Information System: 247608
Collections
- Kvalifikační práce [11242]
Faculty / Institute
Faculty of Mathematics and Physics
Discipline
Artificial Intelligence
Department
Department of Software and Computer Science Education
Date of defense
7. 9. 2022
Publisher
Univerzita Karlova, Matematicko-fyzikální fakultaLanguage
English
Grade
Excellent
Keywords (Czech)
syntéza pohybu|hluboké učení|diskrétní reprezentace|autoregresivní generováníKeywords (English)
motion synthesis|deep learning|discrete representation|autoregressive generationV této práci jsme představili novou metodu pro syntézu 3D animace pohybu člověka podmíněné na pevné množině akcí definující pohyb, například "běhání" nebo "předklon". Inspirování úspěchy metod pro generování obrázků z textu na základě diskrétních latentních reprezentacích, jsme úspěšně vyzkoušeli použití těchto metod v kontextu generování pohybu, což je v kontrastu s dosavadními příst upy využívající spojité latentní proměnné. Ve srovnání s dosavadní nejlepší metodou ACTOR, naše metoda není limitována délkou generovaných sekvencí a dokáže plynule navázat na vstupní startovní sekvenci. Autoregressivní generování je omezeno délkou kon textu, což zajišťuje rozumnou rychlost generování. Dále, díky učení ve dvou fázích, budoucí modely se mohou snadno pře dučit na větších datasetech bez označení kategorií a dotrénovat se na konkrétním úkolu. Naši metodu jsme vyhodnotili na UESTC dataset, v metriká ch překování dosavadní metodu ACTOR a generuje animace srovnatelné s datasetem.
V této práci jsme představili novou metodu pro syntézu 3D animace pohybu člověka podmíněné na pevné množině akcí definující pohyb, například "běhání" nebo "předklon". Inspirování úspěchy metod pro generování obrázků z textu na základě diskrétních latentních reprezentacích, jsme úspěšně vyzkoušeli použití těchto metod v kontextu generování pohybu, což je v kontrastu s dosavadními příst upy využívající spojité latentní proměnné. Ve srovnání s dosavadní nejlepší metodou ACTOR, naše metoda není limitována délkou generovaných sekvencí a dokáže plynule navázat na vstupní startovní sekvenci. Autoregressivní generování je omezeno délkou kon textu, což zajišťuje rozumnou rychlost generování. Dále, díky učení ve dvou fázích, budoucí modely se mohou snadno pře dučit na větších datasetech bez označení kategorií a dotrénovat se na konkrétním úkolu. Naši metodu jsme vyhodnotili na UESTC dataset, v metriká ch překování dosavadní metodu ACTOR a generuje animace srovnatelné s datasetem.