Point cloud video na HoloLens

Abstract

Vývoj headsetov pre virtuálnu a rozšírenú realitu otvára veľa možností použitia týchto technológii v priemysle, zábave a v rôznych iných odvetviach. Cieľom tejto práce je preskú- mať možnosti a navrhnúť aplikácie, ktoré zabezpečia, aby pomocou technológii Microsoft Hololens v1 a Microsoft Kinect v2 bolo možné zosnímať, spracovať, preniesť po sieti a vy- kresliť dynamický point cloud na strane HoloLens. Funkcionalita je rozdelená medzi tri aplikácie. Prvá je desktopová aplikácia, na ktorej beží snímanie, spracovanie a server. Druhá aplikácia, klientská, zabezpečuje rendering a užívateľské rozhranie na strane Ho- loLens. Tretia aplikácia slúži na testovanie priepustnosti siete, simulujúca prenos point cloud videa. Táto práca opisuje postup od toho ako pripojiť senzor k počítaču, cez pohľad na seba z vtáčej perspektívy, až po nočné videnie, ktoré z toho vzniklo. Výsledkom sú aplikácie, ktoré to dokážu v reálnom čase. 1

The development of virtual and augmented reality headsets opens up many possibil- ities for using these technologies in industry, entertainment and other sectors. The aim of this work is to explore the possibilities and design the applications, that will ensure that by using Microsoft Hololens v1 and Microsoft Kinect v2 there will be a possibility to capture, process, transfer and render dynamic point cloud on the HoloLens side. The functionality is divided between three applications. The first one is a desktop application on which the capturing, processing, and a server is running. The second application, the client application, provides rendering and the user interface on HoloLens side. The third application is used to test the network throughput, simulating the point cloud video transmission. This work describes the process of how to connect a sensor to the computer, looking at yourself from a bird's eye view, and the night vision that has come out of it. The results are applications that can do these in real time. 1