Percepción de docentes y egresados del proceso de evaluación final del programa de título de especialista en neurología pediátrica, Universidad de Chile

Abstract

La evaluación del desempeño clínico, y en particular de la competencia compleja Razonamiento Clínico es un desafío para los equipos docentes a cargo de programas de formación de especialistas. Es necesario contar con herramientas de evaluación válidas, confiables y aceptadas para realizar evaluaciones que den cuenta de esta competencia compleja, tanto en instancias formativas, como sumativas. El Programa de Título de Especialista en Neurología Pediátrica de la Universidad de Chile cuenta con tres centros formadores, ubicados geográficamente en los Campus Norte, Oriente y Centro. Tiene un proceso de evaluación final común para los tres centros formadores, constituido por exámenes orales. Los objetivos de esta investigación fueron comprender desde la percepción de los docentes y egresados del Programa el proceso de evaluación final común a los tres centros formadores, la valoración del Razonamiento Clínico durante el examen final y las eventuales propuestas de mejoras. Se diseñó un estudio cualitativo, con enfoque fenomenológico, y entrevistas semi-estructuradas a los participantes del proceso, usando la triangulación como criterio de rigor principal. Entre enero 2013 y junio 2015 se realizaron 23 exámenes finales, con la participación de 16 docentes. Accedieron a participar de este estudio 11 egresados y 14 docentes. El examen final fue percibido por la mayoría de los participantes como confiable y válido, valorado como importante instancia de aprendizaje y aceptado por los equipos docentes, y en menor medida por los egresados. Sin embargo, al profundizar en las características del examen se observaron importantes problemas de Validez y Confiabilidad, relacionados principalmente con la inexistencia de tabla de especificaciones, y ausencia de pauta de observación de los encuentros clínicos. Además se reconocen que la ansiedad del egresado puede interferir fuertemente con su desempeño, existen dificultades de planificación, diferencias en la ejecución del examen práctico entre los diferentes docentes, ausencia de retroalimentación formal, y poca formación de los evaluadores. La principal barrera reconocida por todos los participantes fue la exigencia del trabajo de investigación para acceder al examen final, pero eliminarlo no se percibe como una solución adecuada. Los docentes reconocieron espontáneamente la necesidad de mejorar el entrenamiento de los evaluadores. Los participantes valoraron el proceso evaluativo previo, y en ese sentido el examen final fue percibido por algunos como una ceremonia o trámite. Respecto del Razonamiento Clínico, la mayoría de los participantes reconocieron la recolección de antecedentes y la realización de un examen neurológico exhaustivo como una etapa fundamental en el proceso. Dentro de las particularidades del Razonamiento Clínico en Neurología Pediátrica destacaron: dimensión desarrollo psicomotor, correlato anátomo-clínico (diagnóstico localizatorio), realización de diagnóstico diferencial amplio y priorización de los problemas por gravedad, frecuencia y posibilidad de tratamiento específico. Los participantes percibieron que esta competencia compleja puede evaluarse en los exámenes prácticos en la medida en que se basen en la observación de encuentros clínicos reales, y en el examen teórico con preguntas adecuadas. Como propuestas de mejoras la mayoría de los participantes coincidieron en sugerir el desarrollo de pautas de observación (rúbricas) del desempeño clínico, desarrollar preguntas pre-establecidas para el examen teórico, mejorar la planificación del examen, y optimizar el desarrollo del trabajo de investigación durante el proceso de formación. En síntesis, el proceso de examen final fue valorado en general positivamente. Sin embargo, se reconocen problemas de Validez y Confiabilidad, que generan la necesidad de incorporar estrategias e instrumentos que lo mejoren, como la observación estandarizada de al menos 10 encuentros clínicos, el desarrollo de preguntas pre-establecidas para el examen teórico, la incorporación de retroalimentación formal y la capacitación de los evaluadores. El proyecto fue aprobado por la Escuela de Postgrado y por el Comité de Ética de Investigación en Seres Humanos de la Facultad de Medicina de la Universidad de Chile (Anexo 1).

The evaluation of clinical competence, and in particular of Clinical Reasoning, is a challenge for the medical teachers. It is necessary to have valid, reliable and accepted tools to perform evaluations that assess for this complex competence, both in formative and summative instances. The Program for Specialization in Pediatric Neurology of the University of Chile has three training centers, located geographically in the North, East and Central Campus. There is a common final evaluation process for the three training centers, consisting in oral exams. The objectives of this research were to understand the final evaluation process from the perception of the teachers and graduates that participate, to understand the evaluation of the Clinical Reasoning during the final examination, and to collect possible proposals for improvements. A qualitative study was designed, with a phenomenological approach, and semi-structured interviews to the participants of the process, using triangulation as a criterion of rigor. Between January 2013 and June 2015, 23 final exams were held, with the participation of 16 teachers. 11 graduates and 14 teachers agreed to participate in this study. The final exam was perceived by most of the participants as reliable and valid, was valued as an important instance of learning and was accepted by the teaching teams, and to a lesser extent by the graduates. However, by looking deeply the characteristics of the examination, important Validity and Reliability problems were observed, mainly related to the lack of a table of specifications and the absence of observation guidelines for clinical encounters. It is also recognized that the anxiety of the graduate can strongly interfere with their performance, there are planning difficulties, differences in the execution of the practical exam between the different teachers, absence of formal feedback, and insufficient training of the evaluators. The main barrier recognized by all the participants (teachers and graduates) was the requirement of performing a scientific research in order to access the final exam. But, eliminating this it is not perceived as an adequate solution. The teachers spontaneously recognized the need to improve the training of the evaluators. The participants valued the previous evaluation processes, and in that sense the final exam was perceived by some as a ceremony. Regarding the Clinical Reasoning, most of the participants recognized the collection of antecedents and the performance of a thorough neurological examination as a fundamental stage in the process. Within the particularities of the Clinical Reasoning in Pediatric Neurology, the following stand out: psychomotor development dimension, anatomical-clinical correlate (localizatory diagnosis), realization of a wide differential diagnosis and prioritization of the problems by severity, frequency and possibility of treatment. The participants perceived that this complex competence can be evaluated in the practical exams insofar as they are based on the observation of real clinical encounters, and in the theoretical examination with adequate questions. As proposals for improvements, most participants agreed to suggest the introduction of rubrics to assess clinical performance, develop pre-established questions for the theoretical examination, improve the planning of the exam, and optimize the development of the research during the training process. In summary, the final examination process was generally valued positively, but Validity and Reliability problems are recognized. Is necessary to incorporate strategies and instruments that improve it, such as the standardized observation of at least 10 clinical encounters, the development of standarized questions for the theoretical exam, the incorporation of formal feedback and improve training of the evaluators.