Efecto del orden de las preguntas de selección múltiple en los resultados de exámenes de cardiología / Effect of order of multiple-choice questions on the results of cardiology exams

RESUMEN

RESUMEN Introducción: Algunos autores han señalado que el armado de un examen con preguntas aleatorias puede perjudicar el rendimiento de los estudiantes. A partir de la pandemia por COVID -19 y del aislamiento social obligatorio, las actividades de educación médica de posgrado pasaron a la modalidad virtual y los exámenes se implementaron online. Objetivo: Estudiar si el ordenamiento al azar de las preguntas tiene algún efecto en los resultados de los exámenes. Material y métodos: Se redactaron 2 exámenes uno sobre Prevención de la enfermedad cardiovascular y otro sobre Valvulopatías. Para cada uno de los temas se confeccionaron dos cuestionarios una versión con las preguntas en el orden lógico y según dificultad estimada, y otra con las mismas preguntas distribuidas al azar. Cada examen tenía 50 preguntas de selección múltiple con 3 opciones. Puntaje máximo posible 50 Los exámenes fueron administrados en plataforma Moodle, modalidad sincrónica, tiempo disponible 75 minutos. Los resultados se expresaron en puntajes obtenidos (rango y valores de tendencia central) y según el índice de dificultad de las preguntas. Resultados: Respondieron 284 residentes, alumnos del Curso Bianual de Cardiología. Dos grupos de 1° año (tema Prevención) y dos grupos de 2° año (Valvulopatías). No hubo diferencia entre los resultados de las dos versiones del mismo examen. Conclusiones: Este estudio careció de la potencia suficiente para fundamentar una u otra forma de ordenar las preguntas de los exámenes de ciencias clínicas. Surgieron nuevas preguntas que deberán ser respondidas en futuros estudios.

ABSTRACT

ABSTRACT Background: Some authors have pointed out that setting up an exam with random questions can impair student performance. Since the COVID-19 pandemic and compulsory social isolation, postgraduate medical education activities became virtual and exams were implemented online. Objective: The aim of the study was to analyse whether the random order of questions has any effect on test results. Method: Two exams were written one on the Prevention of Cardiovascular Disease and another on Heart Valve Diseases. For each topic, two questionnaires were designed a version with the questions in logical order and according to the estimated difficulty and another with the same questions randomly distributed. Each exam had 50 multiple-choice questions with 3 options, and the maximum possible score was 50 The exams were taken on the Moodle platform, with synchronous modality, and the time available was 75 minutes. The results were expressed as scores obtained (range and central tendency) and according to the index of difficulty of the questions. Results: The number of respondents was 284 residents, students of the Biannual Cardiology Course two 1st year groups (Prevention topic) and two 2nd year groups (Valve diseases). There was no difference between the results of the two versions of the same exam. Conclusions: This study lacks sufficient power to support either way of question order in clinical sciences exams, giving rise to new queries.