Estudio y análisis de búsqueda visual-semántica y su aplicación

Abstract

El presente documento expone el trabajo realizado durante el estudio y análisis de distintas técnicas de aprendizaje de máquina, dentro de las áreas del procesamiento de lenguaje natural y reconocimiento visual, que permitan desarrollar un servicio de búsqueda visual-semántico para la recuperación de productos de tiendas en línea. El problema a resolver, nace de la necesidad de realizar un estudio y análisis sobre búsqueda visual-semántica, con el objetivo de evaluar si la incorporación de texto mejora o no la precisión de los resultados arrojados por un buscador visual. Además, se requiere comparar distintas técnicas y algoritmos de búsqueda que utilicen texto e imagen, con el propósito de encontrar y definir, la mejor forma de combinación de ambas características. La solución propuesta para resolver el problema planteado, consta de realizar un estudio de las técnicas y modelos más actuales para el procesamiento de lenguaje natural y reconocimiento visual, junto con métodos de evaluación de sistemas de recuperación de información. Posteriormente, se implementan distintos algoritmos de búsquedas por texto e imágenes, que son evaluados frente a un conjunto de diversas consultas en las que se muestre el comportamiento de los algoritmos diseñados. Respecto de los resultados, se concluye que la incorporación de texto a la consulta mejora en aproximadamente un 16% la precisión de los resultados obtenidos en comparación con una búsqueda visual. Además, se concluye que los descriptores utilizados para la caracterización de textos e imágenes, son útiles para la realización de búsquedas por similitud. Junto con lo anterior, los resultados indican que la utilización de descriptores de textos obtenido mediante modelos de vectorización Bag of Word con TF-IDF, en conjunto con vectores descriptores de imágenes obtenidos con redes convolucionales, conforman la mejor combinación encontrada para la realización de búsquedas de productos dentro de catálogos de tiendas.