Complex event detection in video streams

Abstract

S neustálym nárastom počtu kamier na verejných priestranstvách sa stáva nepraktické manuálne kontrolovať ich videozáznamy pri hľadaní špecifického správania. Automatizá- cia tohto procesu je veľmi žiaduca pre jeho početné aplikácie v oblastiach ako bezpeč- nostný sektor, zdravotníctvo, marketing, šport a ďalšie. Mnohé zo súčasných riešení vyu- žívajú strojové učenie, ktoré však so sebou prináša mnohé nevýhody, ako potreba veľkého množstva trénovacích dát či nedostatok flexibility. V tejto práci navrhujeme algoritmický prístup využívajúci zakódované vzorce správania na vyhľadávanie ich výskytov v séman- ticky anotovaných trajektóriách. Zavádzame gramatiku pre popisy správania, popisujeme proces parsovania týchto popisov do takzvaných šablón správania a predstavujeme algo- ritmus na rozhodovanie, či daná sada trajektórií obsahuje hľadané správanie. Nakoniec implementujeme a vyhodnocujeme proof-of-concept aplikáciu - DetectiCE.

With the steady increase of video cameras in public spaces, it has become impractical to manually inspect all video footage when searching for specific behaviors. Automating this process is highly desirable for its numerous applications in security, healthcare, mar- keting, sports, and more. Many of the current approaches utilize machine learning which comes with its drawbacks - requiring large amounts of training data or lack of flexibil- ity. In this thesis, we propose an algorithmic approach using encoded custom behavioral patterns to detect instances of sought behavior on semantically enriched trajectories. We introduce a grammar for behavioral queries, describe the parsing process which encodes these queries into structures called behavioral templates, and present an algorithm to de- termine whether a set of trajectories contains the desired behavior. Finally, we implement and evaluate a proof-of-concept application - DetectiCE.