Estimación de desempeño en evaluación sumativa, con base en evaluaciones formativas usando modelos espacio estado

Abstract

En el mundo moderno, en especial en el contexto de la pandemia, la implementación de la Computer Aided Instruction o evaluación formativa asistida por computadora (CAI, por sus siglas en inglés) es útil y necesaria. En consecuencia, se ha generado gran interés en determinar qué nivel de desempeño de los alumnos se alcanza al implementar estas estrategias. En este contexto, las evaluaciones sumativas han sido muy cuestionadas y las evaluaciones formativas han sido señaladas como alternativas más efectivas. Entre la gran diversidad de artículos que buscan predecir el desempeño de los estudiantes, algunos han usado redes neuronales para estimar la correctitud de la respuesta de un alumno, mientras otros usan técnicas como random forest o bayesian knowledge tracing. También hay casos donde la predicción está enfocada en categorías de desempeño o estimar el eventual abandono de un programa de clases en línea. Sin embargo, una de las limitaciones de los métodos de predicción utilizados últimamente es la falta de explicabilidad de los modelos que se emplean. Muchos modelos hacen uso de complicadas técnicas de predicción que requieren cierto grado de conocimientos específicos para entenderlas. Además de la falta de explicabilidad, el porcentaje de estudios enfocados en niveles K-12 es considerablemente bajo. Asimismo, es relativamente bajo el número de artículos donde la predicción está enfocada en una regresión numérica y no en una clasificación. En esta tesis, se propone modelos lineales y de espacio estado para la predicción del desempeño académico en la prueba nacional estandarizada SIMCE de matemáticas para cuarto básico. Para analizar el RMSE (Root Mean Squared Error) de los modelos, hay que considerar que la desviación de la prueba de 47.8 puntos es la cota superior (RMSE al estimar por la media) y el error de medición de la prueba de 16.56 es la cota inferior; así podemos esperar en el mejor de los casos disminuir 31.24 puntos de error. Dicho esto, el modelo con menor RMSE logra un valor de 26.61 puntos en estimaciones fuera de la base de entrenamiento, esto es, reduce 21.19 de los 31.24 puntos ideales, es decir un 67.8% del error explicable. Por otro lado, el modelo espacio estado reporta un RMSE de 27.52 puntos (64.9% del error explicable), con menos parámetros, más aún, se trata de una formulación que abre eventuales planteamientos para mejorar el diseño de la ejercitación en matemáticas y, por lo tanto, lograr mejores desempeños.