Using machine learning to infer the psychometric characteristics of multiple-choice questions
Tesis
Access note
Acceso abierto
Publication date
2023Metadata
Show full item record
Cómo citar
Ríos Pérez, Sebastián
Cómo citar
Using machine learning to infer the psychometric characteristics of multiple-choice questions
Author
Professor Advisor
Abstract
En este trabajo se exploran dos tareas relacionadas a preguntas de selección múltiple
(PSM): inferencia de asignatura y estimación de dificultad. Para cada una se proponen nuevas
metodologías con el fin de resolver estas tareas utilizando algoritmos aprendizaje de máquinas,
considerando la exactitud de las predicciones junto con la factibilidad de implementar estos
algoritmos en ambientes productivos.
La primera tarea consiste en inferir la asignatura de la PSM, lo que se encuentra dentro del
ámbito de clasificación de texto. Este último ha sido ampliamente explorado bajo el campo de
Aprendizaje Automático, para diferentes categorías de documentos, sin embargo, hasta donde
conoce el autor, no existen artículos de investigación de este tipo para el idioma español, que
es el utilizado en las preguntas de este trabajo. Esta tarea es de alta importancia en el
campo educacional y está asociado a oportunidades de mejora en las tecnologías utilizadas,
tales como etiquetado en bancos de preguntas o guiar el diseño de preguntas dentro de una
asignatura. Para esta tarea, un modelo de Regresión Logística se utiliza para clasificar las
preguntas, utilizando solo el texto de los ítems, sin incluir las alternativas. Los resultados
muestran que el modelo propuesto obtiene un buen desempeño para la tarea con los datos
proporcionados. Adicionalmente, se evalúa el modelo para detectar posibles imperfecciones
en sus predicciones, así como los límites de la interpretabilidad de sus resultados.
La segunda tarea es la estimación de dificultad. Las metodologías actuales tienen un gran
espacio de mejora debido a los costos requeridos. En este trabajo se estudian tres soluciones
basadas en aprendizaje de máquinas para resolver esta tarea.
En primer lugar, se compara un algoritmo tradicional: Máquina de vectores soportantes
(SVM), junto con un algoritmo de redes neuronales: Red Neuronal Recurrente (RNN), con el
fin de contrastar ambas arquitecturas. Los resultados muestran que el modelo basado en RNN
es mejor que SVM en términos de exactitud en las predicciones, por muy poca diferencia.
Luego se introduce un algoritmo de redes neuronales más complejo: Modelo de memoria a
largo corto-plazo (LSTM), el cuál logro superar considerablemente a los modelos anteriores.
Finalmente se prueban arquitecturas basadas mecanismo de auto-atención, BERT, que se
considera estado del arte para numerosas tareas relacionadas a lenguajes. Después de probar
numerosos modelos de este tipo, no se logra obtener mejores resultados que LSTM. Al final se
discuten todas las metodologías utilizadas, con sus beneficios y desventajas, así como posibles
mejoras para futuros trabajos.
xmlui.dri2xhtml.METS-1.0.item-notadetesis.item
Tesis para optar al grado de Magíster en Ciencia de Datos Memoria para optar al título de Ingeniero Civil Industrial
Patrocinador
ANID/ PIA/ Fondo Basal para
Centros de Excelencia FB0003 y la subvención FONDEF ID21I10343
Identifier
URI: https://repositorio.uchile.cl/handle/2250/198715
Collections
The following license files are associated with this item: