Reconocimiento de emociones utilizando la voz en ambientes dinámicos de interacción humano-robot

Abstract

La capacidad de los robots de reconocer emociones de sus usuarios es esencial para que exista una interacción humano-robot natural. En este trabajo de tesis se estudia el reconocimiento automático de emociones utilizando la voz en ambientes reales de interacción humano-robot. Los problemas derivados de esta interacción real afrontados en esta tesis son: el efecto del canal acústico a la señal de voz, la presencia de ruido ambiental, el ruido mecánico interno del robot y la existencia de movimiento relativo entre el usuario y el robot, lo que genera que el canal acústico sea dinámico. Se propone un sistema que utiliza información de la posición del usuario para aplicar beamforming, en conjunto a modelos deep learning con el mejor rendimiento en reconocimiento de emociones del estado del arte. El sistema mencionado logra una mejora de un 30 % en términos de Concordance Correlation Coefficient (CCC) para la prueba de interacción humano-robot (HRI) estática al compararse con el caso base (utilizando sólo el mejor modelo de reconocimiento de emociones entrenado con la base de datos original). Por otro lado, con el mismo sistema se obtiene una mejora de un 24 % para la prueba dinámica de HRI al compararse con el caso base.