Cartoon Character Recognition: búsqueda y reconocimiento de personajes animados

Abstract

El objetivo del trabajo aquí descrito es enfrentar el problema de detección y reconocimiento de personajes animados en la animación japonesa, también llamada animé. La resolución de este problema es importante por varias razones; no sólo pertenece a una familia de problemas difíciles de resolver, sino que solucionarlo significa la construcción de variadas herramientas para problemas reales en la vida diaria de animadores, editores y consumidores de animación japonesa en el mundo. Para resolver el problema, se propone un proceso de solución compuesto por 4 subprocesos que cumplen tareas específicas: la determinación de fotogramas dentro del material animado, la detección de rostros dentro de los fotogramas seleccionados, el diseño y la determinación de características visuales que describan los rostros detectados y, por último, la determinación de medidas de comparación para las características visuales antes calculadas, y la posterior búsqueda de elementos similares dentro de un conjunto de datos. En particular, la etapa de detección de rostros requiere el entrenamiento de un mecanismo de detección, lo que es costoso en términos de extracción de datos y tiempo de procesamiento. Además, la determinación de características visuales resulta difícil debido a la incertidumbre que la caracteriza. En definitiva, el desafío abordado por este proyecto no sólo comprende implementar una solución que logre resolver los problemas planteados anteriormente, pero además lograr generar resultados que puedan competir con las mejores soluciones en la actualidad, ya sea en precisión o performance, y además procurando no descuidar las buenas prácticas de desarrollo como la inclusión de tests o documentación. Para la implementación de la solución se propone un conjunto de scripts en el lenguaje Python, aprovechando la facilidad de desarrollo y las ventajas que provee la biblioteca OpenCV para el análisis y procesamiento de imágenes, videos y de datos relacionados. Finalmente, se definen ciertos experimentos que permiten evaluar la efectividad de la solución propuesta. En esta sección se ve demostrado que el problema no sólo es posible de resolver, sino que varios resultados exceden lo esperado en términos de precisión y performance. En particular, se observa que el mecanismo de detección propuesto alcanza una precisión de más del 80 % a pesar de haber sido entrenado con solamente 800 ejemplos positivos, mientras que la característica diseñada para el reconocimiento alcanza una precisión promedio del 35 % para las consultas elegidas.