Clasificadores de memes con Deep Learning

Abstract

Los memes son un tipo de imagen muy particular, la cual se ha ganado gran popularidad con el pasar de los últimos años. Esto gracias principalmente a las redes sociales y otras fuentes de Internet, así como también a la rápida forma que tienen de propagarse y llegar a distintas personas. Es por esto por lo que generan un gran impacto en la comunidad. Este tipo de imágenes presenta una continua evolución por lo que su estudio es muy difícil de realizar. Dado que los memes presentan una estructura muy variada y una evolución constante, se requiere de una herramienta que los permita clasificar automáticamente y así lograr analizarlos en mayor profundidad. Por otro lado, este tipo de imágenes presentan temáticas que indican el tipo de humor o contenido que se quiere expresar. Es por esto por lo que también se desea lograr categorizarlos automáticamente bajo ciertas clases y así lograr entenderlos de mejor manera. Hoy en día, el estado del arte para las clasificaciones de imágenes y datos en general son las redes neuronales. Existen distintos modelos tanto para texto como imagen, las cuales llegan a ser útiles para distintas tareas que se requieran. También existen distintas técnicas para adaptar redes ya entrenadas y modificarlas para resolver un problema distinto. Se realizaron distintos experimentos que involucraban variadas arquitecturas. Para esto se utilizaron dos dataset. El primero categorizaba imágenes entre Meme, No Meme/Sticker, Sticker y Dudoso descartando esta última. El segundo conjunto de datos categorizaba las imágenes en 17 categorías distintas de memes, las cuales fueron definidas por un grupo de expertos. Dentro de la investigación se pudo observar que, para resolver los distintos problemas de clasificación de memes, se requiere analizar tanto la imagen como el texto que esta posee. Esto logró mejorar las métricas en gran medida, aunque se debe considerar que existen tipos de imágenes que se logran clasificar de mejor manera bajo ciertos modelos, dado que los memes no siguen una estructura fija. Los resultados experimentales muestran que el mejor modelo probado hasta el momento para clasificar memes es el modelo mixto de ResNet con BERT con un 90,7 % de F1 Score. Por otro lado, en la clasificación por tópicos, la mejor red neuronal es BERT con un 70,6 %, la cual trabaja solamente con los textos de las imágenes.