Combinador de clasificadores para identificar memes

Abstract

La clasificación de imágenes es un estudio que se ha vuelto muy común en la computación, sobre todo en los últimos años, impulsado por la aparición de grandes repositorios de imágenes de los cuales hacer uso. Dentro de la clasificación de imágenes existen una cantidad casi ilimitada de temas en los que enfocar el estudio, y los memes, siendo una de las formas de imágenes más masificadas en la actualidad, serán el principal enfoque de estudio en este trabajo, apoyado por un dataset de imágenes provisto por Instituto Milenio Fundamentos de los Datos (IMFD). En el estado del arte se presentan algunos resultados para el problema de clasificar una imagen en las clases No Meme, Meme y Sticker, estos resultados muestran que el mejor resultado obtiene una precisión cercana al 75 %. Además de este resultado, también indica que si se tuviera un oráculo que pudiera elegir el mejor modelo de clasificación para cada imagen, en el 99 % de los casos se obtendría una predicción correcta, este resultado es la principal motivación para este trabajo, siendo el objetivo principal, buscar formas de combinar los modelos ya existente, con el fin de superar el mejor resultado individual, el cual alcanza el 75 % de precisión. Los resultados presentados en el estado del arte, en el trabajo de memoria Comparación de descriptores para clasificación de memes de A. Sara Zaror 2020, utilizan el método undersampling para preprocesar el conjunto de datos de entrenamiento y equilibrar la cantidad de ejemplos de cada una de las clases. Además de esta forma de estudiar este problema de clasificación, en este trabajo también se plantea un nuevo experimento, tanto para los modelos individuales como también para las combinaciones de ellos, basado en la técnica de entrenamiento cost-sensitive, buscando aprovechar la totalidad del dataset disponible, el cual presenta un enorme desbalance en los ejemplos para cada una de las clases. En el caso de experimentación usando undersampling, los resultados obtenidos con los métodos de ensemble, en los mejores casos, muestran una leve mejora en comparación al mejor resultado de los modelos individuales del estado del arte, pasando de un 75 % de precisión a un 77 % y obteniéndose una disminución en el error porcentual en el cálculo de las métricas. Para la experimentación usando cost-sensitive, los modelos individuales entregan como mejores resultados los obtenidos por la combinación conformada por el descriptor DeCAF7 y el clasificador Random Forest, por otro lado, en los ensembles, los mejores resultados se obtuvieron al usar el método de Votación Mayoritaria con Peso, que si bien reduce la precisión en comparación al mejor modelo individual, aumenta en gran medida el valor del recall.