Interaktivní vyhledávání v obrázkové kolekci pomocí neuronové sítě CLIP

Abstract

With the growing importance and volume of multimedia data, interactive search sys- tems are essential to help users efficiently search for specific video sequences based on content. One common task is known scene retrieval, where users try to find a particular scene in a large collection of videos. However, the description of a known scene can be subjective, influenced by the perception and experience of individual users, as well as the differences between human and machine perception. In this paper, the effectiveness of an interactive retrieval system combined with image classification generated by a CLIP neural network is investigated to address this problem. V3C datasets and Marine Video Kit are used to verify the effectiveness of the proposed method. Software is also presen- ted that allows data collection for experiments and subsequent evaluation using a web interface. 1

S rostoucím významem a objemem multimediálních dat jsou nezbytné interaktivní vyhledávací systémy, které pomáhají uživatelům efektivně vyhledávat konkrétní video- sekvence na základě obsahu. Jednou z běžných úloh je vyhledávání známé scény, kdy se uživatelé snaží najít konkrétní scénu v rozsáhlé kolekci videí. Popis známé scény však může být subjektivní, ovlivněný vnímáním a zkušenostmi jednotlivých uživatelů a také rozdíly mezi lidským a strojovým vnímáním. V této práci je k řešení tohoto problému zkoumána účinnost interaktivního vyhledávacího systému v kombinaci s klasifikací snímků genero- vanou pomocí neuronové sítě CLIP. K ověření účinnosti navrhované metody jsou použity datasety V3C a Marine Video Kit. Představen je i software, který pomocí webového rozhraní umožňuje sběr dat pro experimenty a jejich následné vyhodnocení. 1