Auto tagging en catálogos virtuales de vestuario

Abstract

A lo largo de los años, la industria de la moda ha mostrado un crecimiento constante que se ha visto acelerado por la venta de artículos por Internet, siendo hoy la categoría con más clientes del ecommerce en Chile. Las tiendas exhiben sus productos en Internet usando los catálogos virtuales, que son herramientas que organizan los productos y permiten buscarlos y filtrarlos mediante texto, o por categorías y filtros. Una exploración a los catálogos del ecommerce nacional, deja en evidencia una deficiencia en la cantidad de filtros orientados en características visuales de las prendas, lo que impide una exploración eficiente para encontrar los productos deseados. Esto es especialmente importante en la industria de la moda, donde los artículos se basan fuertemente en estas características. Los algoritmos de visión computacional desarrollados en los últimos años han mostrado ser capaces de automatizar una multitud de tareas. En este trabajo, se propone el uso de redes neuronales convolucionales, que son capaces de procesar imágenes, para generar etiquetas o tags, que representen características visuales de artículos de vestuario para realizar la búsqueda de estos. Se estudia el desempeño de dos arquitecturas de redes neuronales convolucionales: ResNet50 e Inception-v3 en problemas de clasificación multi-etiqueta y clasificación binaria independiente de clases. Las clases utilizadas en este trabajo se definen en razón de aquellas disponibles en las bases de datos públicas DeepFashion y DeepFashion 2. Además, se definen 9 clases de color a identificar en las prendas, para lo cual se construye un sistema de clasificación de color basado en el uso de una red DeepLab-v3 de segmentación y el algoritmo de clustering k-means. Se mide el desempeño de los modelos según los resultados de la búsqueda de artículos con los tags asignados por ellos. Para esto, se utiliza un dataset privado adicional con fotografías de catálogo de tres tiendas de vestuario, el cual es etiquetado para conducir un proceso de búsqueda por texto con cada etiqueta para recuperar sus imágenes, con lo que se valida el desempeño del trabajo en un ambiente real. El mejor desempeño en la recuperación de artículos se obtiene con las etiquetas generadas por ResNet50 multi-etiqueta, alcanzando un mean average precision (mAP) de 47% en la recuperación de 15 artículos de cada clase. En particular, el mejor desempeño se obtiene para categorías de prendas y texturas, obteniendo un 55% y 70% de mAP con este mismo modelo.