Using automatic clothing labeling to improve the quality of clothing retrieval systems

Abstract

Desde hace varios años que el mercado de las ventas en línea presenta un crecimiento sostenido debido a la oportunidad y facilidad que le entrega a usuarios de las nuevas tecnologías para adquirir lo que ellos deseen sin tener que salir de sus casas. Un caso particular de este fenómeno es la industria de la moda. Esto último se ve favorecido principalmente por el uso masivo de redes sociales, las cuales le permiten a los usuarios compartir la manera en que se visten convirtiéndose en iconos de la moda solo al subir fotos. Varias tiendas y redes sociales han visto este hecho como una oportunidad de negocio, la cual consiste en permitirle a sus usuarios tomar fotos de sus ídolos de moda y buscar en diferentes tiendas prendas similares a las que ellos ocupan, de manera de ``compartir'' su estilo. En la comunidad de visión por computadora este proceso se trata como un problema de búsqueda por similitud. Esto es, dada una consulta, mostrar al usuario los productos que se parecen más al objeto buscado. En el caso de la moda la problemática surge al intentar comparar las consultas con las imágenes de los catálogos de diferentes tiendas, ya que estas últimas tienden a presentar a una modelo usando más de una prenda que la imagen trata de representar, lo que se traduce en que la imagen de consulta y las de los catálogos no son comparables directamente. Este último punto empeora la calidad de los resultados de cualquier sistema de recuperación. Considerando el problema anterior es que este trabajo busca estudiar métodos de etiquetado (o detección) de ropa que permitan descubrir las reales zonas de interés de las imágenes de los catálogos de manera de poder comparar estas regiones con las consultas. De esta manera nuestra hipótesis es que el usar métodos de etiquetado de ropa para preprocesar los catálogos mejora la calidad de los sistemas de recuperación con respecto a los resultados obtenidos sin pre procesarlos. Entrenamos Faster R-CNN y YOLOv2 como métodos de etiquetado, de los cuales Faster R-CNN presenta mejores resultados. Para entrenar estos métodos recolectamos un dataset con alrededor de 150,000 imágenes etiquetadas. Los datos se recolectan usando crowd sourcing. Una vez entrenados dos métodos de etiquetado presentamos experimentos que permiten medir la calidad del etiquetado, y luego otros que permiten validar nuestra hipótesis. Estos últimos experimentos miden la calidad de la recuperación con respecto al estado del arte en función de dos puntos: calidad de los resultados y usabilidad en una aplicación real. Vemos que la calidad de los resultados al usar el etiquetado es similar a la de los métodos del estado del arte, sin embargo, nuestro método se traduce en tiempos de búsqueda 18x menores. Finalmente presentamos los resultados de dichos experimentos presentando métricas estándar que permiten medir la calidad de los resultados. Además se analiza la usabilidad de las técnicas presentadas. Mostramos además ejemplos visuales de los resultados obtenidos.