Evaluating the reliability of surgical assessment methods in an orthopedic residency program.

CONTEXTE: L'enseignement de la chirurgie orthopédique au Canada a beaucoup évolué ces 15 dernières années. La diminution des heures de travail et les influences extérieures sont à l'origine des nouvelles approches pour la formation en chirurgie. Avec l'avènement des modèles de formation fondés sur les compétences et les rôles CanMEDS, il faut s'assurer de la validité des méthodes d'évaluation modernes. Notre objectif était d'évaluer la fiabilité d'un outil de vérification des habiletés chirurgicales actuellement utilisé par un programme de résidence en orthopédie, au moyen du Formulaire de rencontres chirurgicales. MÉTHODES: Un outil d'évaluation chirurgicale existe déjà dans notre établissement et comporte 15 éléments qui se rattachent à 4 des rôles CanMEDS. Sur une période de 5 mois, 11 membres du personnel ont évalué 10 résidents. Les résultats étaient à l'insu de l'investigateur principal et encodés par une tierce partie. Les évaluations ont été colligées et nous avons mesuré le pourcentage de concordance à l'aide du coefficient α de Cronbach et du score κ de Fleiss. RÉSULTANTS: Quatre-vingt-huit évaluations ont été effectuées au total. Le pourcentage de concordance pondéré a été de 90,9 %. Le coefficient α de Cronbach a été en moyenne de 0,865 pour le rôle d'expert médical, de 0,920 pour les habiletés techniques, de 0,934 pour le rôle de communicateur, de 1,00 pour le rôle de collaborateur et de 1,00 pour le rôle de promoteur de la santé. Le score κ de Fleiss moyen a été de 0,147 (intervalle de confiance de 95 % ­0,071 à 0,364), témoignant d'une faible fiabilité inter-évaluateurs. CONCLUSION: Malgré la mise au point d'un outil d'évaluation validé pour mesurer l'acquisition des habiletés en chirurgie, les résultats au plan de la fiabilité inter-évaluateurs indiquent un faible degré de concordance entre les examinateurs.