Knowledge representation in deep neural networks

Abstract

Convolutional neural networks (CNNs) are known to outperform humans in numerous image classification and object detection tasks. They also excel at captioning, image segmentation, and feature extraction. CNNs are precise at recognition and generalize well, yet analyzing their decision-making process remains challenging. A means to study their internal knowledge representation provide the so-called heat maps and their variants like the saliency, SmoothGrad, and Grad-CAM maps. The techniques such as t-SNE, UMAP, and ivis can, on the other hand, help visualize the multi-dimensional features formed in different convolutional layers. Inspired by the results obtained when analyzing the capabilities of CNNs, we introduce two novel size-reduction algorithms: Iterative Top Cut and Iterative Feature Top Cut. Both algorithms successively remove the layers of a CNN starting from its top until a stopping criterion is activated. The stopping criteria involve the model's performance and the formed internal knowledge representation. In particular, the Iterative Top Cut method exceeds our expectations by shrinking some models, such as EfficientNetV2S, up to 3.15 times while preserving their accuracy on the Cars-196 dataset. Moreover, the algorithm generalizes well and proves to be stable. 1

Při řešení mnohých úloh z oblasti klasifikace obrázků a detekce objektů překonávají konvoluční neuronové sítě (CNN sítě) lidské schopnosti. CNN sítě vynikají i při vytváření titulků, segmentaci obrázků a při extrakci příznaků. Modely CNN sítí jsou mimořádně přesné při rozpoznávání obrázků a extrahované znalosti dobře zobecňují, nicméně analýza jejich rozhodovacího procesu zůstává problematická. Vhodný prostředek k analýze interní reprezentace znalostí v CNN sítích představují takzvané "heat maps" (teplotní mapy) a jejich varianty, například typu "saliency maps" (charakteristické mapy), SmoothGrad a Grad-CAM. Techniky t-SNE, UMAP a ivis používané pro redukci dimenzionality pak podporují snadnou vizualizaci vícerozměrných příznaků vytvořených v jednotlivých kon- volučních vrstvách CNN sítí. Na základě výsledků získaných při vyhodnocování vlastností CNN modelů, jsme na- vrhli dva nové algoritmy pro prořezávání předučených CNN sítí: "Iterative Top Cut" a "Iterative Feature Top Cut". Oba algoritmy postupně odstraňují koncové vrstvy CNN sítí, dokud není aktivováno ukončovací kritérium algoritmu. Ukončovací kritéria berou v úvahu dosahovanou přesnost CNN sítě a kvalitu vytvořené interní reprezentace znalostí. Vynikajících výsledků dosahuje zejména metoda "Iterative Top Cut", která je schopná zredukovat velikost...