Adaptación de LLM-as-a-Judge y creación de recursos para la evaluación del dialecto chilenoa

Abstract

Esta investigación aborda la necesidad de evaluar la capacidad de los modelos de lenguaje de gran tamaño (LLMs) en el manejo de texto acorde al dialecto chileno del español, un dialecto subrepresentado en los datos de entrenamiento actuales. La tesis propone una meto dología que integra la creación semi-automática de un recurso de evaluación y la adaptación de LLM-as-a-Judge, orientada a medir la comprensión del dialecto. Participan hablantes na tivos chilenos en la validación del recurso y en la comparación del juicio humano con el de los modelos. Los resultados evidencian una generación del recurso con un 87% de validación exitosa, mientras que la adaptación de LLM-as-a-Judge muestra resultados prometedores, asegura la consistencia con la percepción de los hablantes y define lineamientos bajo los cuá les se rige su eficacia. Estos hallazgos sientan las bases para un ajuste dinámico de métricas y criterios evaluativos, promoviendo la detección, documentación y preservación de lenguas y dialectos subrepresentados.