IMGPEDIA: A large-scale knowledge-base to perform visuo-semantic queries over Wikimedia Commons images

Abstract

Motivación. Los estándares de la Web Semántica son útiles para poder organizar la información de la Web de forma que los computadores puedan procesarla y comprenderla de mejor manera, pudiendo así los usuarios realizar búsquedas más sofisticadas y contar con un lenguaje más expresivo para realizarlas. Sin embargo, la mayoría de las bases de conocimiento disponibles utilizan solamente la información textual en desmedro del contenido multimedia, el cual ha aumentado enormemente los últimos años y ya es parte fundamental de la Web. Objetivo. Dado lo anterior, nuestro objetivo en este trabajo es construir una base de conocimientos que nos permita combinar consultas semánticas con consultas sobre el contenido visual de las imágenes de la Web, que llamaremos IMGpedia. Concretamente, se trabajará utilizando las imágenes de Wikimedia Commons. Contribución. Una vez completado, este trabajo pretende ser un puente entre el mundo del análisis multimedia y el de la Web de Datos. En este sentido, todas las rutinas de descripción de contenido visual serán publicadas como implementaciones de referencia en diferentes lenguajes de programación. Además, la base de conocimientos será una fuente de Datos Enlazados Abiertos de alta calidad, puesto que proveerá enlaces a diferentes fuentes de conocimiento para proveer contexto. Finalmente, estos datos podrán ser consultados a través del SPARQL endpoint público provisto para tal efecto. Esta base de conocimientos es pionera en combinar información del contenido visual de imágenes de la Web con datos semánticos extraídos de DBpedia. Metodología. Se propone y desarrolla una metodología, dadas las 15 millones de imágenes extraídas de Wikimedia Commons, estas se analicen y procesen para formar una completa base de conocimiento. Primeramente, se calculan sus descriptores visuales; luego se computan sus vecinos más cercanos para establecer enlaces de similitud entre ellas; posteriormente, se propone una estrategia para enlazar las imágenes con recursos de DBpedia si es que las imágenes son utilizadas en el respectivo artículo de Wikipedia; y, finalmente, los datos se publican como un grafo RDF, listos para ser consultados a través de un terminal de consulta SPARQL. Valor. El valor de este trabajo está en que es el inicio de un proyecto a largo plazo, el cual busca incluir el contenido multimedia dentro de la Web de Datos de una forma automatizada, sin necesidad de etiquetar los medios manualmente, sino que los hechos puedan ser extraídos de fuentes complementarias. De esta forma se hace que el hecho de realizar consultas sobre similitud visual e incluyendo filtros semánticos sea una tarea cada vez más común.