Detección y clasificación de emociones y nivel de atención a partir de expresiones faciales

Abstract

La presente tesis tiene como objetivo la detección, clasificación y análisis de reacciones faciales y niveles de atención de personas expuestas a contenidos multimedia, utilizando imágenes faciales y modelos de deep learning. Este trabajo se enmarca en la primera etapa del desarrollo del proyecto Fondecyt ”A novel approach to study the web user behavior on a website from patterns extracted by using machine learning algorithms on data originated in the visited pages, their content, and neurophysiological responses” cuyo investigador responsable es el Profesor Juan D. Velásquez. El objetivo de este proyecto es ampliar el conocimiento sobre la navegación de los usuarios en la web y sus preferencias en cada sitio. Para alcanzar el objetivo, se ajustó la red Visual Transformer (ViT) de Google para clasificar las respuestas faciales en las categorías de ”atento” o ”no atento” y en los efectos de ”negativo”, ”neutral” o ”positivo”. Además, se desarrolló un innovador sistema para parametrizar la sensibilidad del modelo en relación con la cara neutra de cada persona, con el fin de mejorar la precisión del mismo. Para el ajuste del modelo destinado a clasificar el efecto generado en cada persona, se utilizó una combinación de las bases de datos AffectNet, FER-2013 y CK+, logrando un accuracy del 76 %. Además, se realizó una toma de muestras en el Web Intelligence Centre (WIC) de la Universidad de Chile para adquirir datos que permitieron la creación de AttentionNet 2, el conjunto con el que se entrenó el clasificador del nivel de atención, alcanzando un accuracy del 93 %. También se recopilaron datos para realizar un estudio de diferencias demográficas entre la población observada utilizando el modelo predictor de efecto. Al comparar las métricas del modelo desarrollado para predecir el efecto percibido por cada persona, se observó un rendimiento superior al estado del arte. El trabajo más cercano a los resultados obtenidos muestra un accuracy del 66 % en el mismo conjunto de validación. Por último, entre las principales conclusiones se destacan las diferencias de género en el efecto percibido entre hombres y mujeres. Además, se observó que el contexto en el que se ubicó a cada participante en el experimento generó una baja activación facial, lo que dificultó la clasificación de los distintos efectos. Por otro lado, se demostró la posibilidad de clasificar la atención de cada persona a partir de su imagen facial.