Diseño e implementación de aplicación Web para evaluación de algoritmos de recuperación de objetos 3D

Abstract

Los algoritmos de recuperación por contenido en 3D son métodos que extraen información de archivos multimedia. Para evaluar este tipo de algoritmos es necesario la creación de benchmarks donde se deben definir tres secciones: Un set de datos, un archivo para clasificar estos datos y métricas con los que se evaluarán los algoritmos. Actualmente, evaluar estos algoritmos se hace de forma lenta, poco organizada y con insuficiente transparencia. Tomando como caso de estudio la Shape Retrieval Challenge, entidad encargada de organizar competencias buscando evaluar la efectividad de este tipo de algoritmos, se puede apreciar que organizadores de diferentes competencias están realizando por su cuenta los mismos procesos en la creación de sus benchmarks que otros organizadores, teniendo que definir los sets de datos, los archivos clasificadores y la programación de métricas para sus competencias. Teniendo esto en cuenta, se desarrolló una aplicación web que acelera y facilita estos procesos, donde los participantes pueden obtener sus resultados de forma rápida y automática. El sistema implementado consiste en una aplicación web que permite la administración y creación de competencias, entregando un espacio para exponerlas a todos los usuarios del sistema que actuarán como competidores. El sistema se encarga de proveer las métricas y funcionalidades para realizar los procesos de evaluación de algoritmos, haciéndose estos procesos de forma automática y quitando la responsabilidad del organizador de realizarlos. Los competidores podrán observar cómo sus algoritmos se comparan con otros de los demás competidores mediante diferentes herramientas. Se realizó un proceso de validación en el sistema donde se midió la usabilidad y utilidad del sistema. Hubo comunicación con diferentes organizadores que administraron competencias en la Shape Retrieval Challenge, además de otros posibles usuarios de la aplicación, a los que se les mostró las interfaces del sistema entregando tareas que hacer en esta. Finalmente, los resultados de la validación mediante la realización de entrevistas y encuestas entregan óptimos resultados, en base a esto es posible entregar una herramienta funcional, efectiva y eficaz que utilizarán los organizadores de competencias en recuperación de contenido 3D en el futuro.