Modelos de redes neuronales profundas para la predicción de secuencias de áreas de interés, datos de mirada e indicadores mentales, registrados para usuarios de un sitio web

Abstract

Este trabajo busca generar tres modelos de predicción: fijaciones en áreas de interés que los usuarios visitan durante su navegación en un sitio web específico, fijaciones realizadas en las diferentes coordenadas del sitio, e indicadores mentales, bajo condiciones ambientales controladas, de iluminación y tarea asignada. Se basa en la experimentación llevada a cabo por Cristian Retamal [88] en el Estudio del comportamiento de la carga cognitiva de usuarios que navegan en un sitio web , bajo el contexto del proyecto Fondecyt A Cognitive Resource-Aware Mobile Service Framework to Support Human-Computer-Interactions in Ubiquitous Computing Environments , liderado por el Profesor Ángel Jiménez. La predicción del primer modelo utiliza señales fisio-psicológicas: Eye tracker, sensor de respuesta electrodermal (GSR), Sensor de Temperatura de la piel (ST) y fotopletismógrafo (PPG), para estudiar las transiciones entre zonas agrupadas semánticamente, basado en ventanas de tiempo de 5 segundos (parámetro a elección), pronosticando secuencias de áreas de interés, y aproximándose a una predicción en tiempo real. El modelo se basa en tres etapas, Predicción de intención de visita de cada área de interés , es decir, que zonas elige visitar cada usuario en cada ventana de tiempo, la Asignación de estado mental del usuario en cada ventana de tiempo, a partir de variables fisio-psicológicas y Algoritmo de generación de caminos visuales , etapa final en la cual se consideran los resultados anteriores para entregar la predicción se secuencias para una ventana de tiempo. Para llevar a cabo estas etapas, se utilizan respectivamente los métodos de Clasificación multi-etiqueta , Hard clustering y Redes neuronales recurrentes . El segundo modelo utiliza datos de mirada (fijaciones, sacadas y puntos indefinidos) registrados por el EyeTracker para generar densidades de probabilidad en las zonas de la página que son atendidas por el usuario. Utiliza redes neuronales recurrentes con mezclas de densidades gaussianas para generar secuencias de probabilidades de movimientos oculares registrados en una ventana de tiempo. Este modelo se basa en una arquitectura encoder decoder, donde los datos de mirada son codificados por una red neuronal recurrente bidireccional y decodificados en los parámetros de las distribuciones gaussianas a ser mezcladas. El tercer modelo utiliza cluster de K-mean para categorizar las ventanas de tiempo con los diferentes índices mentales. Posteriormente se utilizan métodos de clasificación de secuencias para las señales EEG, para la predicción de cada índice mental, utilizando las señales fisiológicas del usuario, usando una arquitectura encoder-decoder. Todos los modelos se evalúan con validación cruzada de diez conjuntos de entrenamientoprueba,utilizando diferentes medidas de distancia para cada caso.