Reconocimiento Robusto y en Tiempo Real de Gestos

Abstract

El presente trabajo tiene como fin el desarrollo de un sistema de reconocimiento de gestos dinámicos aplicable a interfaces humano-computador. El reconocimiento es puramente visual, con imágenes obtenidas de una cámara web convencional. Un sistema de visión computacional previamente desarrollado permite extraer la posición de la cara y las manos.

El trabajo se desglosa en dos objetivos. El primer objetivo es revisar y mejorar dicho sistema de visión computacional para alcanzar una mayor robustez en el tracking (seguimiento) de los movimientos corporales del usuario. El segundo objetivo consiste en proponer y estudiar un método de reconocimiento de gestos dinámicos caracterizados por la trayectoria de la mano.

Para abordar el primer objetivo, se ponen a prueba varias modificaciones del sistema de tracking actual: restricción de la zona de tracking a la zona con piel y movimiento, extracción de nuevas características del objeto seguido, actualización en línea de dichas características, y búsqueda del objeto seguido a partir de múltiples puntos iniciales en la imagen.

En cuanto al segundo objetivo, se observa que el reconocimiento de gestos dinámicos es un problema de reconocimiento de patrones espacio-temporales. Como tal, está sujeto a las variaciones de velocidad y geometría con que los usuarios realizan los gestos, lo cual hace necesario el uso de métodos estadísticos que den cuenta de tales variaciones. En este trabajo, se propone un método novedoso que evita el análisis temporal explícito, al reducir la secuencia de manos detectadas a estadísticas puramente geométricas. Estas estadísticas son suministradas continuamente a un conjunto de clasificadores Naïve Bayes, que entregan probabilidades de ejecución de cada gesto conocido por el sistema; al encontrarse un máximo local en dicha probabilidad, se declara la posible presencia de un gesto, el cual es validado mediante la comparación con plantillas. Se usan algunas reglas sencillas para abordar el problema de subgestos (reconocimiento errado de un gesto en vez de otro que lo contiene) y se aplican heurísticas como examinar la velocidad de la mano para determinar si el usuario desea dar por terminado el gesto o no.

Los resultados de los experimentos muestran una mejoría pequeña del rendimiento del tracking gracias a los cambios introducidos. En tanto, el sistema obtiene una tasa de reconocimiento del 81,7% al reconocer dígitos dibujados con el puño en el aire, desempeño que podría ser mejorado desarrollando un mejor sistema de tracking de la mano y usando métodos geométricos más sofisticados que los propuestos en este trabajo. La velocidad de funcionamiento es de 6 a 7 cuadros por segundo, suficiente para su uso en tiempo real. El sistema también ha sido puesto a prueba con el robot de servicio Bender, con gestos diseñados especialmente para controlarlo, obteniendo una tasa de reconocimiento de 78,5%.