Reprezentační neuronové sítě pro diferencovatelné renderování objemu

Abstract

This thesis investigates the possibility of using a representation neural network as a data structure for an appearance prediction model. We present the representation network as an adaptation of the popular neural radiance field network. The representation network is studied on 2D images as well as volumetric data. This thesis also evaluates the outputs of the appearance prediction network which uses the representation network. Our analysis shows a decent quality of the representation network for 2D images and simple volumetric data. However, the outputs of the appearance prediction network are suboptimal. We conclude that the representation network presented in this thesis should be im- proved and the appearance prediction model should be fine-tuned to the representation network as its input. 1

Tato práce prozkoumává možnost použití reprezentačních neuronových sítí jako dato- vých struktur pro modely předpovídající vzhled. Představujeme representační síť, která je adaptací populární NeRF sítě. Tato reprezentační síť je studována na 2D obrázcích i trojrozměrných volumetrických datech. Tato práce také vyhodnocuje výstupy modelu, který předpovídá vzhled, do kterého je použita reprezentační síť jako zdroj dat. Naše analýza ukazuje, že reprezentace 2D obrázků a jednoduchých volumetrických útvarů je realizováno s obstojnou kvalitu. Nicméně, výstupy vzhled předpovídající sítě jsou suboptimální. Vyvodili jsme, že reprezentační sítě představené v této práci by měli být vylepšeny a že model předpovídající vzhled by měl být doladěn s použitím reprezentační sítě na vstupu. 1