Applications of artificial neural networks for ocular Scanpath prediction

Abstract

Presentamos un estudio de varios modelos neuronales que predicen los recorridos de escaneo oculares humanos (scanpaths) mientras visualizan libremente diferentes tipos de imágenes, y un análisis de qué arquitectura logra los mejores resultados. Esta comparación se realiza analizando diferentes métricas para compararar scanpaths, éstas tienen como objetivo medir errores espaciales y temporales; tales como MSE, ScanMatch, peaks de correlograma cruzado y MultiMatch. Nuestra metodología comienza eligiendo una arquitectura y entrenando diferentes modelos paramétricos por sujeto y tipo de imagen, esto permite que los modelos se ajusten a cada persona y conjunto de imágenes dado. Descubrimos que existe una clara diferencia en la predicción cuando las personas ven imágenes con alto contenido visual (contenido de alta frecuencia) y bajo contenido visual (contenido sin frecuencia). Las mejores características de entrada para predecir los scanpaths son los mapas de saliencia calculados a partir de imágenes foveadas junto con el scanpath ocular de los sujetos, esto modelado por nuestro modelo FovSOS-FSD. Los resultados de este estudio podrían usarse para mejorar el diseño de interfaces controladas por la visión, realidad virtual, comprender mejor cómo los humanos exploran visualmente su entorno y allanar el camino para futuras investigaciones.