Detección de segmentos de videos duplicados en una serie de animé

Abstract

La detección de segmentos de videos duplicados es un problema que se ha abordado por varios años, buscando solucionar problemas como la detección automática de infracciones de derechos de autor, o la eliminación de contenido duplicado. El aumento exponencial en la cantidad de videos en el Internet empuja la investigación a desarrollar nuevas y mejores técnicas constantemente, presentando nuevos algoritmos todos los años. Considerando la gran cantidad de segmentos duplicados encontrados en algunas series de animé en la forma de recapitulaciones, esta memoria busca aplicar y comparar técnicas de recuperación de información multimedia para detectar segmentos duplicados en la serie Naruto Shippuden. Para abordar el problema este se dividió en 4 partes: selección de fotogramas clave, extracción de características, búsqueda de vecinos cercanos, y detección de duplicados. Para los primeros tres pasos se buscaron e implementaron técnicas con distintos enfoques, buscando tanto soluciones estándar y ampliamente probadas como algoritmos más novedosos en el estado del arte. Para el último paso se diseñó un algoritmo exhaustivo para detectar la mayor cantidad de duplicados posibles y evaluar efectivamente los métodos probados. En específico, se probaron los siguientes métodos en cada paso. Para la selección de fotogramas clave se utilizaron los métodos de reducción de FPS y la selección por máxima diferencia de histogramas local. En la extracción de características se utilizó el descriptor color layout, y un descriptor entrenado obtenido a través de una red neuronal profunda autoencoder. Finalmente para la búsqueda de vecinos cercanos se utilizaron los índices de búsqueda aproximada random k-d trees, y locality sensitive hashing utilizando las funciones de hash stable distributions y scalable graph hashing. Estas soluciones se evaluaron manualmente utilizando capítulos de la serie analizada, encontrando diferencias importantes tanto en la eficiencia como la efectividad de los métodos en algunos pasos. Especialmente, destacó el índice de búsqueda random k-d trees que logró la mejor eficiencia de todos los índices de búsqueda y entregando un muy alto recall (96% en promedio) en la detección de segmentos duplicados. En este trabajo se logró desarrollar un framework que permite comparar distintas técnicas propias de la recuperación de información multimedia involucradas en la detección de segmentos de videos duplicados. Esto implica que al incorporarse nuevos algoritmos al estado del arte, será posible comparar su rendimiento contra soluciones existentes, logrando así encontrar rápidamente una combinación eficiente de métodos. Es posible además tomar este trabajo como la base de una herramienta o aplicación que dado un conjunto de videos, reporte los segmentos duplicados encontrados en ellos.