Búsqueda texto-visual de prendas de vestir

Abstract

El presente documento expone el trabajo realizado en el desarrollo de un buscador texto-visual, que combine texto e imágenes de prendas de vestir utilizando machine learning para mejorar la búsqueda tradicional dentro del e-commerce. La búsqueda visual consiste en comparar una foto de consulta de un usuario con las fotos de los productos de una tienda y mostrar los productos más parecidos visualmente a la foto de consulta. Para realizar esto se utilizan descriptores, los cuales consisten en una representación vectorial de la información más relevante de la imagen. En las tiendas online de moda usualmente las fotos de los productos aparecen modeladas por una persona que también viste otras prendas. Cuando aparece más de un producto en una misma foto la búsqueda visual se puede confundir con cuál es el producto principal, lo cual ocasiona que el desempeño de la búsqueda por similitud disminuya considerablemente. Para solucionar esto se exploró la utilización de técnicas de machine learning para crear un embedding o espacio descriptores que combine tanto información de texto como de imagen. Creado un espacio que combine la descripción del producto junto con las imágenes de los productos en la imagen es posible identificar el producto principal en la imagen y resolver el problema de los múltiples productos por imagen. Además de resolver la búsqueda visual este espacio combinado permite que la recomendación de productos similares considere tanto el texto como la imagen de un producto. Respecto a los resultados se concluye que el 90 \% de las veces es posible reconocer cuál es el producto principal que se esta vendiendo en una foto con múltiples productos. Además la recomendación de productos similares mejora entre un 15\% a 50\% (dependiendo de la tienda evaluada) cuando se identifica en una primera etapa el producto que se está vendiendo y luego se usa una medida de similitud en el espacio texto-visual.