Modelling eye movements during Multiple Object Tracking

Abstract

Lidé musí sledovat v každodenních situacích více objektů zároveň (např. řízení automobilu nebo kolektivní sporty). Sledování více objektů (MOT) věrohodně simuluje sledování více objektů v laboratorních podmínkách. Když sledujeme cíle v úloze s mnoha dalšími objekty ve scéně, stává se obtížné rozlišit objekty na periférii (crowding). Přestože sledování by mohlo být prováděno pouze pomocí pozornosti, je zajímavá otázka, jakým způsobem lidé plánují své oční pohyby při sledování. V naší studii jsme provedli MOT experiment, ve kterém jsme účastníkům předložili opakovaně několik úloh s proměnlivým počtem distraktorů, nahrávali jsme oční pohyby a měřili jsme konzistenci očních pohybů pomocí Normalized scanpath saliency (NSS) metriky. Vytvořili jsme několik analytických strategií, které se vyhýbají crowdingu a porovnali jsme je s očními daty. Kromě analytických modelů jsme trénovali neuronové sítě na předpovídání očních pohybů v MOT úlohách. Výkon navrhovaných modelů a neuronových sítí jsme vyhodnocovali na datech z nového MOT experimentu. Analytické modely vysvětlovaly variabilitu očních pohybů dobře (výsledky jsou srovnatelné s intraindividuálními rozdíly); předpovědi založené na neuronových sítích byly méně úspěšné.

In everyday situations people have to track several objects at once (e.g. driving or collective sports). Multiple object tracking paradigm (MOT) plausibly simulate tracking several targets in laboratory conditions. When we track targets in tasks with many other objects in scene, it becomes difficult to discriminate objects in periphery (crowding). Although tracking could be done only using attention, it is interesting question how humans plan their eye movements during tracking. In our study, we conducted a MOT experiment in which we presented participants repeatedly several trials with varied number of distractors, we recorded eye movements and we measured consistency of eye movements using Normalized scanpath saliency (NSS) metric. We created several analytical strategies employing crowding avoidance and compared them with eye data. Beside analytical models, we trained neural networks to predict eye movements in MOT trial. The performance of the proposed models and neuron networks was evaluated in a new MOT experiment. The analytical models explained variability of eye movements well (results comparable to intraindividual noise in the data); predictions based on neural networks were less successful.