A consensus statement on the meaning, value and utility of training programme outcomes, with specific reference to anaesthesiology: A consensus statement on training programme outcomes.

It is timely and necessary to consider what Postgraduate Medical Training Programme outcomes are, how they are defined and revised over time, and how they can be used to align health professional performance with the healthcare needs of society. This article which addresses those issues, with specific reference to training in anaesthesiology, was prepared using a modified nominal group (or expert panel) approach.

The influence of resident and faculty gender on assessments in anesthesia competency-based medical education.

PURPOSE: Competency-based medical education (CBME) relies on frequent workplace-based assessments of trainees, providing opportunities for conscious and implicit biases to reflect in these assessments. We aimed to examine the influence of resident and faculty gender on performance ratings of residents within a CBME system. METHODS: This retrospective cohort study took place from August 2017 to January 2021 using resident assessment data from two workplace-based assessments: the Anesthesia Clinical Encounter Assessment (ACEA) and Entrustable Professional Activities (EPAs). Self-reported gender data were also extracted. The primary outcome-gender-based differences in entrustment ratings of residents on the ACEA and EPAs-was evaluated using mixed-effects logistic regression, with differences reported through odds ratios and confidence intervals (α = 0.01). Gender-based differences in the receipt of free-text comments on the ACEA and EPAs were also explored. RESULTS: In total, 14,376 ACEA and 4,467 EPA assessments were analyzed. There were no significant differences in entrustment ratings on either assessment tool between men and women residents. Regardless of whether assessments were completed by men or women faculty, entrustment rates between men and women residents were not significantly different for any postgraduate year level. Additionally, men and women residents received strengths-related and actions-related comments on both assessments at comparable frequencies, irrespective of faculty gender. CONCLUSION: We found no gender-based differences in entrustment ratings for both the ACEA and EPAs, which suggests an absence of resident gender bias within this CBME system. Given considerable heterogeneity in rater leniency, future work would be strengthened by using rater leniency-adjusted scores rather than raw scores.

RéSUMé: OBJECTIF: La formation médicale fondée sur les compétences (FMFC) repose sur des évaluations fréquentes des stagiaires en milieu de travail, ce qui donne l'occasion de refléter les préjugés conscients et implicites dans ces évaluations. Notre objectif était d'examiner l'influence du genre des résident·es et des professeur·es sur les évaluations de la performance des résident·es au sein d'un système de FMFC. MéTHODE: Cette étude de cohorte rétrospective s'est déroulée d'août 2017 à janvier 2021 à l'aide des données d'évaluation des résident·es provenant de deux évaluations en milieu de travail : L'évaluation de l'anesthésie clinique par événement (ACEA ­ Anesthesia Clinical Encounter Assessment) et les Actes professionnels non supervisés (APNS). Des données autodéclarées sur le genre ont également été extraites. Le critère d'évaluation principal, soit les différences fondées sur le genre dans les cotes de confiance des résident·es sur l'ACEA et les APNS, a été évalué à l'aide d'une régression logistique à effets mixtes, les différences étant rapportées par les rapports de cotes et les intervalles de confiance (α = 0,01). Les différences fondées sur le genre dans la réception des commentaires en texte libre sur l'ACEA et les APNS ont également été explorées. RéSULTATS: Au total, 14 376 évaluations ACEA et 4467 évaluations APNS ont été analysées. Il n'y avait pas de différences significatives dans les cotes de confiance obtenues avec l'un ou l'autre des outils d'évaluation entre les résidents et les résidentes. Indépendamment du genre de la personne réalisant l'évaluation, les taux de confiance entre les résidentes et les résidents n'étaient pas significativement différents pour toutes les années de formation postdoctorale. De plus, les résident·es ont reçu des commentaires liés à leurs forces et leurs actes sur les deux évaluations à des fréquences comparables, quel que soit le genre du corps professoral. CONCLUSION: Nous n'avons constaté aucune différence fondée sur le genre dans les cotes de confiance telles qu'évaluées par les ACEA et les APNS, ce qui suggère une absence de préjugés genrés envers les résident·es au sein de ce système de FMFC. Compte tenu de l'hétérogénéité considérable en matière de clémence des évaluateurs et évaluatrices, les travaux futurs seraient plus fiables s'ils utilisaient des scores ajustés en fonction de ladite clémence plutôt que des scores bruts.

Validity evidence for the Anesthesia Clinical Encounter Assessment (ACEA) tool to support competency-based medical education.

BACKGROUND: Workplace-based assessment (WBA) is key to a competency-based assessment strategy. Concomitantly with our programme's launch of competency-based medical education, we developed an entrustment-based WBA, the Anesthesia Clinical Encounter Assessment (ACEA), to assess readiness for independent practice of competencies essential to perioperative patient care. This study aimed to examine validity evidence of the ACEA during postgraduate anaesthesiology training. METHODS: The ACEA comprises an eight-item global rating scale (GRS), an overall independence rating, an eight-item checklist, and case details. ACEA data were extracted for University of Toronto anaesthesia residents from July 2017 to January 2020 from the programme's online assessment portal. Validity evidence was generated following Messick's validity framework, including response process, internal structure, relations with other variables, and consequences. RESULTS: We analysed 8664 assessments for 137 residents completed by 342 assessors. From generalisability analysis, 10 independent observations (two assessments each from five assessors) were sufficient to achieve a reliability threshold of ≥0.70 for in-training assessments. A composite GRS score of 3.65/5 provided optimal sensitivity (93.6%) and specificity (90.8%) for determining entrustment on receiver operator characteristic curve analysis. Test-retest reliability was high (intraclass correlation coefficient [ICC2,1]=0.81) for matched assessments within 14 days of each other. Composite GRS scores differed significantly between residents based on their training level (P<0.0001) and correlated highly with overall independence (0.91, P<0.001). The internal consistency of the GRS (α=0.96) was excellent. CONCLUSIONS: This study supports the validity of the ACEA for assessing the competence of residents performing perioperative care and supports its use in competency-based anaesthesiology training.

Anesthesia environmental sustainability programs-a survey of Canadian department chiefs and residency program directors.

INTRODUCTION: Anesthesia-related activities contribute to operating room waste impacting climate change. The aim of this study was to ascertain 1) the current existence and scope of department and education programs concerned with anesthesia "green" practice; and 2) perceived barriers to environmental sustainability efforts among Canadian anesthesia department chiefs and residency program directors. METHODS: Association of Canadian University Departments of Anesthesia-affiliated anesthesiology department chiefs (n = 113) were invited to complete an online survey ascertaining current efforts in, and barriers to, environmentally sustainable anesthesia practice. Similarly, Canadian anesthesiology residency program directors (n = 17) were invited to complete an online survey delineating current educational programs on environmental sustainability and identifying interest in, and barriers to, developing a Canada-wide curriculum. RESULTS: The response rates for department chiefs and program directors were 23% (26/113) and 41% (7/17), respectively. Department chiefs indicated that their departments participate in sustainability efforts such as donating medical equipment (65%) and recycling (58%). Despite interest in environmental sustainability, department chiefs identified inadequate funding (72%), lack of a mandate (64%), and inadequate knowledge (60%) as barriers to implementing environmentally sustainable practices. Only 29% of responding Canadian anesthesiology programs include environmental sustainability in their curriculum. Responding residency program directors believe residents would benefit from more teaching on the topic (86%) but identified barriers including a lack of faculty expertise (100%) and time constraints (71%). Respondents (71%) also indicated an interest in developing a Canadian curriculum on the topic. CONCLUSION: Our results highlight current attitudes, gaps, and barriers to environmentally sustainable anesthesiology practice among departmental and educational leadership. Furthermore, this study identifies potential opportunities to develop cross-Canada collaborative educational programs in this field.

RéSUMé: INTRODUCTION: Les activités liées à l'anesthésie contribuent aux déchets de salle d'opération qui ont un impact sur les changements climatiques. L'objectif de cette étude était d'établir 1) l'existence et la portée des programmes départementaux et de formation s'intéressant à une pratique écoresponsable de l'anesthésie; et 2) les obstacles perçus aux efforts en matière de durabilité environnementale parmi les chefs de départements et les directeurs de programmes de résidence en anesthésie canadiens. MéTHODE: Les chefs des départements d'anesthésiologie affiliés à l'Association canadienne universitaire des départements d'anesthésie (ACUDA) (n = 113) ont été invités à remplir un sondage en ligne afin de déterminer les efforts actuels et les obstacles à une pratique durable de l'anesthésie. Les directeurs de programmes de résidence en anesthésiologie canadiens (n = 17) ont également été invités à remplir un sondage en ligne décrivant les programmes de formation actuels portant sur la durabilité environnementale et identifiant l'intérêt pour et les obstacles à la création d'un cursus s'appliquant à tout le Canada. RéSULTATS: Les taux de réponse des chefs de département et des directeurs de programme étaient de 23 % (26/113) et 41 % (7/17), respectivement. Les chefs de département ont indiqué que leurs départements prenaient part aux efforts de durabilité en faisant don des équipements médicaux (65 %) et en recyclant (58 %). Malgré un intérêt pour la durabilité environnementale, les chefs de département ont fait mention d'un financement inadapté (72 %), de l'absence de mandat (64 %), et d'un manque de connaissances (60 %) en tant qu'obstacles à la mise en place de pratiques durables. Seuls 29 % des programmes d'anesthésiologie canadiens ayant répondu comportaient un volet sur la durabilité environnementale dans leur programme. Les directeurs de programmes de résidence ayant répondu étaient d'avis que les résidents bénéficieraient d'une augmentation de l'enseignement à ce sujet (86 %) mais ont identifié divers obstacles, notamment un manque d'expertise du corps enseignant (100 %) et des contraintes de temps (71 %). Les répondants (71 %) ont également indiqué leur intérêt pour la création d'un cursus canadien à ce sujet. CONCLUSION: Nos résultats résument les attitudes, écueils et obstacles actuels à une pratique durable de l'anesthésiologie parmi les directions des départements et des programmes de formation. En outre, cette étude identifie des occasions potentielles de création de programmes éducatifs collaboratifs pancanadiens dans ce domaine.

A national survey on attitudes and barriers on recycling and environmental sustainability efforts among Canadian anesthesiologists: an opportunity for knowledge translation.

BACKGROUND: Anesthesia-related activities produce 25% of all operating room (OR) waste and contribute to environmental pollution and climate change. The aim of this study was to document Canadian anesthesiologists' current practice, attitudes towards, and perceived barriers regarding recycling of OR waste and environmental sustainability efforts. METHODS: With Research Ethics Board approval, members of the Canadian Anesthesiologists' Society (CAS) completed an online survey consisting of 25 questions assessing current environmentally sustainable practices in anesthesiology and gaps, barriers, and interest in gaining further knowledge on this topic. RESULTS: Four hundred and twenty-six of 2,695 (16%) CAS members responded to the questionnaire. Despite a willingness to recycle at work among most anesthesiologists (393/403, 97.5%), only 122/403 (30.2%) did so. Other sustainability efforts in Canadian ORs included donating unused medical equipment and supplies to medical missions (198/400, 49.5%) and evening shut-off of anesthesia machines and other OR equipment (185/400, 46.3%). Reported barriers to recycling in the OR included a lack of support from hospital/OR leadership (254/400, 63.5%) and inadequate information/education (251/400, 62.8%). Only 122/389 (31.4%) of respondents were aware of any efforts to expand sustainability programs at their institutions but 273/395 (69.1%) of respondents indicated an interest in obtaining further education on the topic. CONCLUSION: Canadian anesthesiologists appear ready to incorporate environmental sustainability in their practice but indicate that significant barriers exist. Our study highlights the need for further educational programs and implementation strategies.

RéSUMé: CONTEXTE: Les activités liées à l'anesthésie produisent 25 % de tous les déchets en salle d'opération et contribuent à la pollution de l'environnement et au changement climatique. Le but de cette étude était de documenter les pratiques actuelles des anesthésiologistes canadiens, leurs attitudes envers le recyclage des déchets de salle d'opération et les efforts pour la protection de l'environnement, ainsi que les obstacles perçus comme s'y opposant. MéTHODES: Après approbation d'un Comité d'éthique de la recherche, les membres de la Société canadienne des anesthésiologistes (SCA) ont pu remplir une enquête en ligne comportant 25 questions évaluant les pratiques actuelles en anesthésiologie pour un environnement durable ses obstacles, ses lacunes, ainsi que l'intérêt à en savoir plus sur ce sujet. RéSULTATS: Quatre cent vingt-six des 2695 membres (16 %) de la SCA ont répondu au questionnaire. Malgré un désir de recyclage dans le cadre du travail chez la plupart des anesthésiologistes (393/403, 97,5 %), seulement 122/403 (30,2 %) le faisaient. D'autres efforts des salles d'opération canadiennes en faveur de la durabilité incluaient le don de l'équipement médical et des fournitures non utilisés à des missions médicales (198/400, 49,5 %) et la fermeture des appareils d'anesthésie et des autres équipements de la salle d'opération le soir (185/400, 46,3 %). Les obstacles au recyclage en salle d'opération qui ont été mentionnés incluaient une absence de soutien de la part du leadership de l'hôpital/de la salle d'opération (254/400, 63,5 %) et une information/éducation insuffisante sur le sujet (251/400, 62,8 %). Seulement 122 des 389 répondants (31,4 %) étaient au courant d'efforts d'extension des programmes en faveur de l'environnement, mais 273/395 (69,1 %) répondants ont manifesté de l'intérêt à obtenir plus de formation sur le sujet. CONCLUSION: Les anesthésiologistes canadiens semblent prêts à incorporer la protection de l'environnement dans leurs pratiques, mais indiquent qu'il existe des obstacles significatifs. Notre étude souligne le besoin de poursuivre les programmes éducatifs et les stratégies de mise en œuvre.