Using machine learning to infer the psychometric characteristics of multiple-choice questions

Abstract

En este trabajo se exploran dos tareas relacionadas a preguntas de selección múltiple (PSM): inferencia de asignatura y estimación de dificultad. Para cada una se proponen nuevas metodologías con el fin de resolver estas tareas utilizando algoritmos aprendizaje de máquinas, considerando la exactitud de las predicciones junto con la factibilidad de implementar estos algoritmos en ambientes productivos. La primera tarea consiste en inferir la asignatura de la PSM, lo que se encuentra dentro del ámbito de clasificación de texto. Este último ha sido ampliamente explorado bajo el campo de Aprendizaje Automático, para diferentes categorías de documentos, sin embargo, hasta donde conoce el autor, no existen artículos de investigación de este tipo para el idioma español, que es el utilizado en las preguntas de este trabajo. Esta tarea es de alta importancia en el campo educacional y está asociado a oportunidades de mejora en las tecnologías utilizadas, tales como etiquetado en bancos de preguntas o guiar el diseño de preguntas dentro de una asignatura. Para esta tarea, un modelo de Regresión Logística se utiliza para clasificar las preguntas, utilizando solo el texto de los ítems, sin incluir las alternativas. Los resultados muestran que el modelo propuesto obtiene un buen desempeño para la tarea con los datos proporcionados. Adicionalmente, se evalúa el modelo para detectar posibles imperfecciones en sus predicciones, así como los límites de la interpretabilidad de sus resultados. La segunda tarea es la estimación de dificultad. Las metodologías actuales tienen un gran espacio de mejora debido a los costos requeridos. En este trabajo se estudian tres soluciones basadas en aprendizaje de máquinas para resolver esta tarea. En primer lugar, se compara un algoritmo tradicional: Máquina de vectores soportantes (SVM), junto con un algoritmo de redes neuronales: Red Neuronal Recurrente (RNN), con el fin de contrastar ambas arquitecturas. Los resultados muestran que el modelo basado en RNN es mejor que SVM en términos de exactitud en las predicciones, por muy poca diferencia. Luego se introduce un algoritmo de redes neuronales más complejo: Modelo de memoria a largo corto-plazo (LSTM), el cuál logro superar considerablemente a los modelos anteriores. Finalmente se prueban arquitecturas basadas mecanismo de auto-atención, BERT, que se considera estado del arte para numerosas tareas relacionadas a lenguajes. Después de probar numerosos modelos de este tipo, no se logra obtener mejores resultados que LSTM. Al final se discuten todas las metodologías utilizadas, con sus beneficios y desventajas, así como posibles mejoras para futuros trabajos.