Análisis de la comprensión de modelos de lenguaje generativo en el comportamiento político chileno

Abstract

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) están transformando el procesamiento del lenguaje natural al destacar en tareas más allá de su entrenamiento específico (Brown et al., 2020). Investigaciones en curso exploran el alcance total de las capacidades de los LLM y sus diversas aplicaciones (Chang et al., 2023). En las ciencias sociales, GPT ha demostrado la capacidad de emular tendencias sociales y políticas en los Estados Unidos basándose en características sociodemográficas (Argyle et al., 2022). La capacidad de los LLM para generar respuestas sintéticas similares a las humanas tiene el potencial de reducir significativamente los costos en estudios de campo, eliminando la necesidad de encuestas extensas. En el presente trabajo, estudiamos si los LLM pueden replicar patrones sociodemográficos en subpoblaciones chilenas a través de tres experimentos: Predicción de Votación Presidencial, Predicción del Plebiscito Constitucional y Predicción de Opinión sobre el Aborto. Específicamente, los modelos probados son: ChatGPT-4, ChatGPT-3.5, Llama-2-13b y Mistral-7B-Instruct-v0.2, los cuales se comparan con un Random Forest entrenado en la muestra que sirve como un límite máximo de predicción en el conjunto de datos. También se prueban otras arquitecturas y técnicas para reducir las brechas de rendimiento observadas entre ambos países, tales como ajuste fino fine-tuning, embeddings + clasificadores y técnicas de prompting. Los resultados de los experimentos de esta investigación demuestran que ninguno de los modelos logra una predicción precisa de las tendencias políticas y de votación de la población chilena. El Random Forest, a pesar de estar entrenado dentro de la muestra, tampoco alcanza altas precisiones. Esto sugiere dos posibles factores: 1) las tendencias políticas chilenas podrían ser más difíciles de predecir debido a un menor nivel de partidismo, y 2) los modelos de lenguaje carecen de información adecuada para comprender completamente la sociedad chilena, incluidos sus bajos niveles de partidismo, sumado a una dificultad para no depender de variables políticas para hacer predicciones.