Predictability metrics for collaborative filtering recommender systems

Abstract

Los sistemas de recomendación son herramientas algorítmicas que filtran contenido a usuarios de plataformas en línea de acuerdo a sus preferencias individuales. El enfoque de filtrado colaborativo permite modelar usuarios exclusivamente en términos de las interacciones en las que han incurrido. Pese a la reciente popularidad de estos sistemas y del enfoque mencionado, aún hay varias propiedades desconocidas al respecto. En particular, nuestro trabajo se enfoca en la comprensión de la predictibilidad de conjuntos de datos, es decir, cuán lejos puede llegar el desempeño de un sistema de recomendación al predecir una parte de un conjunto de datos, conociendo el resto. Este trabajo presenta diez candidatos para métricas de predictibilidad unidimensionales, basadas en cinco principios y asunciones sobre la estructura intrínseca y subyacente de los datos. Para probar su validez, se mide la correlación entre los valores de las métricas y el desempeño del sistema de recomendación que arroja mejores resultados; entre los conjuntos de datos utilizados hay tanto reales como generados, y estos últimos son creados en base a tres aproximaciones diferentes. Nuestros resultados muestran que la mayoría de las métricas funcionan bien para una familia particular de conjuntos de datos, pero ninguna es efectiva para todos los conujuntos de datos. Para trabajos futuros, definimos potenciales mejoras a nuestras métricas, tanto en términos de definición como de calibración.