Transformers multimodales para la visualización y análisis de polarización política mediante memes en discursos de redes sociales

Abstract

Las redes sociales han revolucionado la comunicación, transformándose en plataformas donde se desarrollan debates políticos y se forman opiniones públicas. En este contexto, los memes han emergido como herramientas poderosas para la propaganda, la sátira y la crítica social, debido a su capacidad para transmitir mensajes complejos de manera rápida y efectiva. Sin embargo, su análisis computacional presenta desafíos debido a la combinación de texto e imagen y la necesidad de interpretar matices como el sarcasmo y la ironía. Esta tesis aborda el uso de los memes como vehículos de polarización política en las redes sociales. Se desarrolla una herramienta computacional capaz de analizar y visualizar estos fenómenos, identificando la afiliación política implícita en los memes y midiendo su nivel de nocividad. Para ello, se implementa un modelo de aprendizaje automático multimodal, VisualBERT, demostrado ser el estado del arte en tareas de análisis de sentimiento y detección de mensajes de odio en memes. El estudio se basa en un conjunto de datos curado de memes políticos extraídos de Twitter durante las elecciones presidenciales en Chile en 2021. Se aplican técnicas de muestreo y estratificación para obtener conjuntos de datos equilibrados y se adapta el modelo VisualBERT para tareas de clasificación y regresión ordinal. Los resultados muestran que el modelo es capaz de predecir con alta precisión la afiliación política y el nivel de nocividad de los memes, superando los modelos basados en clasificación binaria y multiclase. La mejor solución se logra abordando el problema como una tarea de regresión ordinal, aprovechando la relación continua e incremental entre los valores del etiquetado de las variables. En la mejor configuración, se obtiene una Precision de 0.66, Recall de 0.59, F1-Score de 0.61 y F2-Score de 0.60. Como resultado de la inferencia del modelo, se realiza una visualización que representa la polarización política y su nivel de nocividad en agrupaciones claras, mediante un mapa de distribución de memes, mostrando que estos efectivamente se agrupan en torno a temas y narrativas específicas que reflejan divisiones ideológicas claras. Como trabajo futuro, se propone extender el conjunto de datos, reemplazar el dataset de preentrenamiento por conjuntos de datos masivos en español y aplicar la metodología de este estudio a otros debates polarizados: vacunación, cambio climático, religión, etc. para analizar desde distintas aristas la polarización en redes sociales mediante memes.