Impact of a longitudinal faculty development program on the quality of multiple-choice question item writing in medical education.

ABSTRACT

Background: Like many other academic programs, medical education is incomplete without a robust assessment plan. Objective: The study aimed to evaluate the impact of longitudinal faculty development program (FDP) on the examination item quality (EIQ) from a cohort of medical college faculty members. Methods: Item analysis (IA) of multiple-choice questions (MCQs) from a cohort of medical tutors over a 3-year period (2017 [S1], 2018 [S2], and 2019 [S3]) before and following once-per-week FDP was conducted. The questions were from three randomly selected courses man and his environment (MEV) from phase 1, central nervous system (CNS) from phase 2, and internal medicine (MED) from phase 3. Data assessed were 480 MCQs from the final exams in the courses. The parameters considered in IA were the difficulty index, index of discrimination, nonfunctional distractors (NFDs), distractor efficiency for each question item, and Cronbach's alpha (CA) for the test as a whole. Comparison over the 3 years was made using Fisher's exact test and repeated-measures ANOVA with Bonferroni test as post hoc test. Results: Overall, out of 480 MCQs, 272 had no NFD (52 [19.52%], 104 [38.24%], and 116 [42.65%] in 2017, 2018, and 2019, respectively) with a significant difference between S3, S2, and S1 (P < 0.0001). The mean CA for the exams in S1, S2, and S3, respectively, were 0.51, 0.77, and 0.84, P < 0.0001. Conclusion: There was an improvement in EIQ following the implementation of longitudinal FDP. Thus, the need for active training and retraining of the faculty for a better EIQ cannot be overemphasized.

RésuméContexte Comme beaucoup d'autres programmes universitaires, la formation médicale est incomplète sans un plan d'évaluation solide. Objectif L'étude visait à évaluer l'impact du programme longitudinal de formation professorale (FDP) sur la qualité des éléments d'examen (EIQ) d'une cohorte de membres du corps professoral des facultés de médecine. Méthodes Analyse des éléments (IA) des questions à choix multiples (QCM) d'une cohorte de tuteurs médicaux une période de trois ans (2017 [S1], 2018 [S2] et 2019 [S3]) avant et après le déroulement du FDP hebdomadaire a été effectuée. Les questions venaient de trois cours choisis au hasard l'homme et son environnement (MEV) de la phase 1, le système nerveux central (SNC) de la phase 2 et interne médecine (MED) de la phase 3. Les données évaluées étaient 480 QCM des examens finaux des cours. Les paramètres considérés dans IA étaient l'indice de difficulté, l'indice de discrimination, les distracteurs non fonctionnels (NFD), l'efficacité du distracteur pour chaque question et le alpha (CA) pour le test dans son ensemble. La comparaison au cours des 3 années a été faite en utilisant le test exact de Fisher et l'ANOVA à mesures répétées avec Test de Bonferroni comme test post hoc. Résultats Dans l'ensemble, sur 480 QCM, 272 n'avaient pas de NFD (52 [19,52%], 104 [38,24%] et 116 [42,65%] en 2017, 2018 et 2019, respectivement) avec une différence significative entre S3, S2 et S1 (P <0,0001). L'AC moyenne pour les examens en S1, S2 et S3, respectivement, était de 0,51, 0,77 et 0,84, P <0,0001. Conclusion: Il y a eu une amélioration de l'EIQ après la mise en œuvre du FDP. Ainsi, la nécessité d'une formation active et d'un recyclage de la faculté pour un meilleur QEI ne peut pas être surestimée.