Analizador de videos de rutinas de Crossfit mediante algoritmos de visión de computador

Abstract

El presente trabajo de tesis aborda el problema de cómo realizar una rutina de CrossFit (deporte que consiste en realizar ejercicios funcionales a alta intensidad) de la mejor forma posible con el fin de mejorar un puntaje previo para fines de competencia o de entrenamiento, analizando la misma rutina hecha anteriormente por el atleta. La solución planteada para este problema es una aplicación web capaz de analizar un video, por medio de algoritmos de visión de computador y machine learning, que suba el usuario, y dar los resultados obtenidos del video y la optimización de dichos resultados por medio de gráficas de línea. La aplicación web se compone de un backend, hecho en PHP utilizando el framework de desarrollo Laravel, y un frontend hecho en Javascript utilizando ReactJs y Redux como librerías básicas. Del lado del backend también se utiliza una librería de Machine Learning que es la que permite realizar la optimización de las estadísticas de una rutina. Esta aplicación interactúa con una componente para analizar los videos. Se encarga de hacer el cálculo del flujo óptico del video a analizar, clasifica los movimientos ejecutados dentro del video y cuenta las repeticiones realizadas de cada movimiento, o los tiempos que se toma el atleta en realizar cada movimiento (dependiendo del tipo de rutina). Para la elaboración del clasificador de movimientos, esta tesis utiliza como línea base la arquitectura del Two Stream Convolutional Network propuesta por Simonyan y Zisserman en el 2014 [14], haciendo uso únicamente del Temporal Stream. Luego, para calcular los tiempos y contar las repeticiones de estos videos se crearon dos algoritmos que dada las clasificaciones del modelo, los FPS del video y la composición de la rutina a analizar calcula cuántas repeticiones, o tiempo tomado, se realiza por movimiento. Para evaluar el funcionamiento del sistema se tomaron videos de 4 hombres y 3 mujeres donde realizaron 2 rutinas cada hombre y 1 cada mujer. Luego el sistema analizó cada video utilizando dos modelos de Machine Learning entrenados diferentes. Al final se vio que uno de dichos modelos resultó tener menos error que el otro y que el algoritmo de conteo de repeticiones resultó ser un poco más preciso que el de cálculo de tiempos. Su error promedio fue de un 8%, mientras que el algoritmo del cálculo de tiempos dio un promedio de 8,7% de error.