Comparison of joint-embedding deep networks for known-item search in image datasets

Abstract

S rostoucí produkcí multimédií se zvyšuje také poptávka po efektivních metodách jejich vyhledávání. Jedním z klíčových úkolů v této oblasti je vyhledávání konkrétních položek ve velkých nestrukturovaných kolekcích obrázků pomocí textových dotazů. V posledních letech tomuto oboru dominují hluboké neuronové sítě, které jsou trénovány na mapování obrázků a textu do joint-embedding prostoru. V rámci našeho výzkumu jsme porovnali výkon několika předtrénovaných sítí, včetně CLIP, OpenCLIP, ALIGN a BLIP2, na různých datasetech. Kromě toho jsme zkoumali, jak množství informací obsažených v textových dotazech ovlivňuje výkon modelů. Hodnotili jsme také konzistenci vnímání podobnosti mezi obrázky modely a lidskými posudky. Naše zjištění ukazují, že modely OpenCLIP se osvědčují jako velmi účinné při vyhledávání konkrétních položek pomocí dotazů a dobře se shodují s lidským vnímáním podobnosti. Dále jsme zjistili, že podrobnější informace v textových dotazech zlepšují výkon modelů.

As the production of multimedia continues to grow, the demand for effective multi- media retrieval methods increases. One critical task in this domain is known-item search within large unstructured collections of images using text queries. In recent years, this field has been dominated by deep networks trained to map both images and text in joint- embedding space. We evaluated multiple pre-trained networks, including CLIP, Open- CLIPs, ALIGN, and BLIP2, comparing their performance across various datasets. Addi- tionally, we investigated how the amount of information provided within the text queries influences model performance. We also assessed the consistency of models' perceived image-image similarity with human judgments. Our findings indicate that OpenCLIP models excel in known-item search with queries and align well with human perception of similarity. Furthermore, we observed that providing more detailed information in text queries enhances model performance.