Estudio piloto: Confiabilidad y efecto de la calibración de los docentes de odontopediatría básica e integral en la evaluación de procedimientos clínicos de los estudiantes de la Universidad de Chile

Abstract

Introducción: Con el objetivo de aumentar la confiabilidad de las evaluaciones clínicas, desde hace décadas algunos autores han recomendado sesiones de entrenamiento para la calibración de los docentes. El presente trabajo comparó la confiabilidad inter examinador de la evaluación realizada por docentes de Odontopediatría de la Universidad de Chile de un procedimiento de operatoria registrado en un video, obtenida previa y posterior a una sesión de calibración. Material y métodos: Los docentes realizaron dos evaluaciones, previa y posterior a calibración, de un video diferente cada vez, mediante el uso de dos pautas. La sesión de calibración se basó en los resultados obtenidos de la primera evaluación. La confiabilidad inter examinador de ambas evaluaciones se expresó en términos de porcentaje de acuerdo con la respuesta esperada, determinada por un grupo de tres expertos, para cada dimensión de las pautas. Adicionalmente, se analizó la relación entre experiencia y formación docente con las notas con que calificaron. Los resultados fueron procesados en STATA ®, versión 11.1. Resultados: Al comparar las confiabilidades inter examinador obtenidas previo y posterior a calibración se obtuvo un p= 0.3102 para la pauta N°1, de opciones Si o No, y un p= 0.3183 para la pauta N°2, de escala graduada. Al comparar las confiabilidades obtenidas con cada pauta, se obtuvo un p=0.0157 en la evaluación previa a calibración y un p=0.0015 para la evaluación posterior, favoreciendo esta diferencia a la pauta N° 1. Los índices de correlación entre las notas y la experiencia y formación docente resultaron ser negativos, con fuerzas de relación bajas, cercanas a cero, y valores de p mayores a 0.05. Conclusiones: No se obtuvieron diferencias estadísticamente significativas en la confiabilidad inter examinadores obtenidas previa y posterior a la sesión de calibración, con ninguna de las dos pautas de evaluación utilizadas. En ambas evaluaciones la pauta N° 1 resultó ser más confiable que la N°2, siendo esta diferencia estadísticamente significativa. No se encontró una relación estadísticamente significativa entre la experiencia y formación docente con las notas obtenidas de las evaluaciones realizadas por los docentes.