Deidentifying Narrative Assessments to Facilitate Data Sharing in Medical Education.

PROBLEM: Narrative assessments are commonly incorporated into competency-based medical education programs. However, efforts to share competency-based medical education assessment data among programs to support the evaluation and improvement of assessment systems have been limited in part because of security concerns. Deidentifying assessment data mitigates these concerns, but deidentifying narrative assessments is time-consuming, resource intensive, and error prone. The authors developed and tested a tool to automate the deidentification of narrative assessments and facilitate their review. APPROACH: The authors met throughout 2021 and 2022 to iteratively design, test, and refine the deidentification algorithm and data review interface. Preliminary testing of the prototype deidentification algorithm was performed using narrative assessments from the University of Saskatchewan emergency medicine program. The algorithm's accuracy was assessed by the authors using the review interface designed for this purpose. Formal testing included 2 rounds of deidentification and review by members of the authorship team. Both the algorithm and data review interface were refined during the testing process. OUTCOMES: Authors from 3 institutions, including 3 emergency medicine programs, an anesthesia program, and a surgical program, participated in formal testing. In the final round of review, 99.4% of the narrative assessments were fully deidentified (names, nicknames, and pronouns removed). The results were comparable for each institution and specialty. The data review interface was improved with feedback obtained after each round of review and found to be intuitive. NEXT STEPS: This innovation has demonstrated viability evidence of an algorithmic approach to the deidentification of assessment narratives while reinforcing that a small number of errors are likely to persist. Future steps include the refinement of both the algorithm to improve its accuracy and the data review interface to support additional data set formats.

Developing a dashboard for program evaluation in competency-based training programs: a design-based research project.

Background: Canadian specialist residency training programs are implementing a form of competency-based medical education (CBME) that requires the assessment of entrustable professional activities (EPAs). Dashboards could be used to track the completion of EPAs to support program evaluation. Methods: Using a design-based research process, we identified program evaluation needs related to CBME assessments and designed a dashboard containing elements (data, analytics, and visualizations) meeting these needs. We interviewed leaders from the emergency medicine program and postgraduate medical education office at the University of Saskatchewan. Two investigators thematically analyzed interview transcripts to identify program evaluation needs that were audited by two additional investigators. Identified needs were described using quotes, analytics, and visualizations. Results: Between July 1, 2019 and April 6, 2021 we conducted 17 interviews with six participants (two program leaders and four institutional leaders). Four needs emerged as themes: tracking changes in overall assessment metrics, comparing metrics to the assessment plan, evaluating rotation performance, and engagement with the assessment metrics. We addressed these needs by presenting analytics and visualizations within a dashboard. Conclusions: We identified program evaluation needs related to EPA assessments and designed dashboard elements to meet them. This work will inform the development of other CBME assessment dashboards designed to support program evaluation.

Contexte: Les programmes de résidence dans une spécialité au Canada offrent une formation médicale fondée sur les compétences (FMFC) qui exige l'évaluation des activités professionnelles confiables (APC). Des tableaux de bord pourraient être utilisés pour suivre la complétion des APC afin de faciliter l'évaluation des programmes. Méthodes: Par un processus de recherche basé sur la conception, nous avons ciblé les besoins des programmes liés aux évaluations de la FMFC et conçu un tableau de bord qui comprend les éléments (données, analyses et visualisations) nécessaires pour répondre à ces besoins. Nous avons eu recours à des entretiens auprès des responsables du programme de médecine d'urgence et du bureau d'éducation médicale postdoctorale de l'Université de Saskatchewan. Deux enquêteurs ont effectué une analyse thématique des transcriptions des entretiens afin de recenser les besoins d'évaluation du programme, vérifiés par la suite par deux autres enquêteurs. Les besoins recensés ont été décrits à l'aide de citations, d'analyses et de visualisations. Résultats: Entre le 1er juillet 2019 et le 6 avril 2021, nous avons mené 17 entretiens avec six participants (deux responsables de programmes et quatre responsables de l'établissement). Quatre besoins sont ressortis en tant que thèmes : le suivi des changements dans les mesures d'évaluation globales, la comparaison des mesures avec le plan d'évaluation, l'évaluation de l'efficacité du stage et l'engagement face à des mesures d'évaluation. Nous avons répondu à ces besoins en présentant des analyses et des visualisations dans un tableau de bord. Conclusions: Nous avons identifié les besoins d'évaluation du programme liés aux évaluations des APC et conçu des éléments de tableau de bord pour y répondre. Ce travail guidera la conception d'autres tableaux de bord d'évaluation de la FMFC en vue de faciliter l'évaluation des programmes.

Visualization Tools for Genomic Conservation.

SynVisio and Accusyn ( genomevis.usask.ca ) are freely available web-based tools for visualizing genomic conservation that provide easy-to-access visualizations for researchers to interact with their datasets and change parameters in real time to carry out synteny exploration and analysis through multiple coordinated visual representations. The tools use standard file formats and outputs from existing synteny detection systems such as MCScanX or DAGChainer, and provide several features that are valuable for large-scale genomic analysis: a range of visualization scales from full genomes down to single collinearity blocks; single-level and multiple-level plots that enable the analysis of more than two genomic regions; annotation tracks that can be loaded using standard BedGraph files; several techniques for reducing visual clutter in visualizations; the ability to download high-quality images of the visualizations; and a snapshot panel for storing configurations of the interface for later revisitation.

Developing a dashboard for faculty development in competency-based training programs: a design-based research project.

BACKGROUND: Canadian specialist residency training programs are implementing a form of competency-based medical education (CBME) that requires frequent assessments of entrustable professional activities (EPAs). Faculty struggle to provide helpful feedback and assign appropriate entrustment scores. CBME faculty development initiatives rarely incorporate teaching metrics. Dashboards could be used to visualize faculty assessment data to support faculty development. METHODS: Using a design-based research process, we identified faculty development needs related to CBME assessments and designed a dashboard containing elements (data, analytics, and visualizations) meeting these needs. Data was collected within the emergency medicine residency program at the University of Saskatchewan through interviews with program leaders, faculty development experts, and faculty participating in development sessions. Two investigators thematically analyzed interview transcripts to identify faculty needs that were audited by a third investigator. The needs were described using representative quotes and the dashboard elements designed to address them. RESULTS: Between July 1, 2019 and December 11, 2020 we conducted 15 interviews with nine participants (two program leaders, three faculty development experts, and four faculty members). Three needs emerged as themes from the analysis: analysis of assessments, contextualization of assessments, and accessible reporting. We addressed these needs by designing an accessible dashboard to present contextualized quantitative and narrative assessment data for each faculty member. CONCLUSIONS: We identified faculty development needs related to EPA assessments and designed dashboard elements to meet them. The resulting dashboard was used for faculty development sessions. This work will inform the development of CBME assessment dashboards for faculty.

CONTEXTE: Les programmes de résidence de spécialité au Canada mettent en œuvre une forme d'éducation axée sur les compétences (EASC) qui exige des évaluations formatives fréquentes des activités professionnelles confiables (APC). Les enseignants ont du mal à fournir une rétroaction utile et à attribuer des notes appropriées au niveau de confiance. Les initiatives de formation professorale des enseignants qui interviennent dans la EASC intègrent rarement leurs données psychométriques. Des tableaux de bord pourraient être utilisés pour visualiser les données d'évaluation du corps professoral afin de soutenir leur perfectionnement. MÉTHODES: En utilisant un processus de recherche orientée par la conception, nous avons déterminé les besoins de formation professorale liés aux évaluations dans la EASC et nous avons conçu un tableau de bord contenant des éléments (données, analyses et éléments visuels) pour répondre à ces besoins. Les données ont été recueillies dans le cadre du programme de résidence en médecine d'urgence de l'Université de Saskatchewan par le biais d'entretiens avec les responsables du programme, des experts en formation professorale et les enseignants participant aux séances de formation. Deux chercheurs ont procédé à une analyse thématique des transcriptions d'entrevues afin d'identifier les besoins des enseignants, et un troisième chercheur les a vérifiées. Les besoins ont été décrits à l'aide de citations représentatives et des éléments du tableau de bord conçus pour y répondre. RÉSULTATS: Entre le 1er juillet 2019 et le 11 décembre 2020, nous avons mené 15 entretiens avec neuf participants (deux responsables de programme, trois experts en formation professorale et quatre membres du corps professoral). Trois besoins sont ressortis comme thèmes de l'analyse : l'analyse des évaluations formatives, la contextualisation des évaluations formatives et l'accessibilité des rapports. Pour répondre à ces besoins, nous avons conçu un tableau de bord accessible présentant des données d'évaluation quantitatives et narratives contextualisées pour chaque membre du corps professoral. CONCLUSIONS: Nous avons identifié les besoins de formation professorale liés aux évaluations des APC et conçu les éléments d'un tableau de bord permettant d'y répondre. Le tableau de bord a été utilisé dans des séances de formation professorale. Ce travail orientera la réalisation de tableaux de bord afin de faciliter l'évaluation pour les enseignants dans le cadre de la EASC.

Exploiting High-Throughput Indoor Phenotyping to Characterize the Founders of a Structured B. napus Breeding Population.

Phenotyping is considered a significant bottleneck impeding fast and efficient crop improvement. Similar to many crops, Brassica napus, an internationally important oilseed crop, suffers from low genetic diversity, and will require exploitation of diverse genetic resources to develop locally adapted, high yielding and stress resistant cultivars. A pilot study was completed to assess the feasibility of using indoor high-throughput phenotyping (HTP), semi-automated image processing, and machine learning to capture the phenotypic diversity of agronomically important traits in a diverse B. napus breeding population, SKBnNAM, introduced here for the first time. The experiment comprised 50 spring-type B. napus lines, grown and phenotyped in six replicates under two treatment conditions (control and drought) over 38 days in a LemnaTec Scanalyzer 3D facility. Growth traits including plant height, width, projected leaf area, and estimated biovolume were extracted and derived through processing of RGB and NIR images. Anthesis was automatically and accurately scored (97% accuracy) and the number of flowers per plant and day was approximated alongside relevant canopy traits (width, angle). Further, supervised machine learning was used to predict the total number of raceme branches from flower attributes with 91% accuracy (linear regression and Huber regression algorithms) and to identify mild drought stress, a complex trait which typically has to be empirically scored (0.85 area under the receiver operating characteristic curve, random forest classifier algorithm). The study demonstrates the potential of HTP, image processing and computer vision for effective characterization of agronomic trait diversity in B. napus, although limitations of the platform did create significant variation that limited the utility of the data. However, the results underscore the value of machine learning for phenotyping studies, particularly for complex traits such as drought stress resistance.

Developing a dashboard to meet the needs of residents in a competency-based training program: A design-based research project.

BACKGROUND: Canadian specialty programs are implementing Competence By Design, a competency-based medical education (CBME) program which requires frequent assessments of entrustable professional activities. To be used for learning, the large amount of assessment data needs to be interpreted by residents, but little work has been done to determine how visualizing and interacting with this data can be supported. Within the University of Saskatchewan emergency medicine residency program, we sought to determine how our residents' CBME assessment data should be presented to support their learning and to develop a dashboard that meets our residents' needs. METHODS: We utilized a design-based research process to identify and address resident needs surrounding the presentation of their assessment data. Data was collected within the emergency medicine residency program at the University of Saskatchewan via four resident focus groups held over 10 months. Focus group discussions were analyzed using a grounded theory approach to identify resident needs. This guided the development of a dashboard which contained elements (data, analytics, and visualizations) that support their interpretation of the data. The identified needs are described using quotes from the focus groups as well as visualizations of the dashboard elements. RESULTS: Resident needs were classified under three themes: (1) Provide guidance through the assessment program, (2) Present workplace-based assessment data, and (3) Present other assessment data. Seventeen dashboard elements were designed to address these needs. CONCLUSIONS: Our design-based research process identified resident needs and developed dashboard elements to meet them. This work will inform the creation and evolution of CBME assessment dashboards designed to support resident learning.

CONTEXTE: Les programmes canadiens de spécialité sont à implanter la compétence par conception (CPC), un programme d'éducation médicale par compétences qui nécessite des évaluations fréquentes des activités professionnelles confiables. Pour servir aux fins d'apprentissage, la grande quantité de données d'évaluation doit être interprétée par les résidents, mais peu de travaux ont été réalisés pour déterminer comment la visualisation et l'interaction avec ces données peuvent être soutenues. Dans le cadre du programme de résidence en médecine d'urgence de l'Université de Saskatchewan, nous avons cherché à déterminer comment les données d'évaluation de la CPC de nos résidents devraient être présentées pour soutenir leur apprentissage et pour développer un tableau de bord qui réponde aux besoins de nos résidents. MÉTHODOLOGIE: Nous avons utilisé un processus de recherche orientée par la conception pour cerner les besoins des résidents en lien avec la présentation de leurs données d'évaluation. Les données ont été recueillies au cours du programme de résidence en médecine d'urgence de l'Université de Saskatchewan grâce à quatre groupes de discussion de résidents qui se sont tenus sur une période de 10 mois. Les groupes de discussion ont été analysés en utilisant l'approche de la théorisation ancrée (Grounded Theory) pour cerner les besoins des résidents, pour guider le développement d'un tableau de bord contenant des éléments (données, analyses et visualisations) qui soutiennent leur interprétation de leurs propres données. Les besoins identifiés sont décrits à l'aide de citations des groupes de discussion ainsi que de visualisations des éléments du tableau de bord. RÉSULTATS: Les besoins des résidents ont été classés sous trois thèmes : 1. être guidés quant au programme d'évaluation, 2. présenter des données d'évaluation en milieu de travail, et 3. présenter d'autres données d'évaluation. Dix-sept éléments du tableau de bord ont été conçus pour répondre à ces besoins. CONCLUSIONS: Notre méthode de recherche orientée par conception a permis de cerner les besoins des résidents et d'élaborer les éléments d'un tableau de bord pour y répondre. Ce travail servira de base à la création et à l'évolution des tableaux de bord d'évaluation en CPC conçus pour soutenir l'apprentissage des résidents.

Multiple wheat genomes reveal global variation in modern breeding.

Advances in genomics have expedited the improvement of several agriculturally important crops but similar efforts in wheat (Triticum spp.) have been more challenging. This is largely owing to the size and complexity of the wheat genome1, and the lack of genome-assembly data for multiple wheat lines2,3. Here we generated ten chromosome pseudomolecule and five scaffold assemblies of hexaploid wheat to explore the genomic diversity among wheat lines from global breeding programs. Comparative analysis revealed extensive structural rearrangements, introgressions from wild relatives and differences in gene content resulting from complex breeding histories aimed at improving adaptation to diverse environments, grain yield and quality, and resistance to stresses4,5. We provide examples outlining the utility of these genomes, including a detailed multi-genome-derived nucleotide-binding leucine-rich repeat protein repertoire involved in disease resistance and the characterization of Sm16, a gene associated with insect resistance. These genome assemblies will provide a basis for functional gene discovery and breeding to deliver the next generation of modern wheat cultivars.

Developing a dashboard to meet Competence Committee needs: a design-based research project.

BACKGROUND: Competency-based programs are being adopted in medical education around the world. Competence Committees must visualize learner assessment data effectively to support their decision-making. Dashboards play an integral role in decision support systems in other fields. Design-based research allows the simultaneous development and study of educational environments. METHODS: We utilized a design-based research process within the emergency medicine residency program at the University of Saskatchewan to identify the data, analytics, and visualizations needed by its Competence Committee, and developed a dashboard incorporating these elements. Narrative data were collected from two focus groups, five interviews, and the observation of two Competence Committee meetings. Data were qualitatively analyzed to develop a thematic framework outlining the needs of the Competence Committee and to inform the development of the dashboard. RESULTS: The qualitative analysis identified four Competence Committee needs (Explore Workplace-Based Assessment Data, Explore Other Assessment Data, Understand the Data in Context, and Ensure the Security of the Data). These needs were described with narratives and represented through visualizations of the dashboard elements. CONCLUSIONS: This work addresses the practical challenges of supporting data-driven decision making by Competence Committees and will inform the development of dashboards for programs, institutions, and learner management systems.

CONTEXTE: Les programmes fondés sur la compétence sont adoptés dans la formation médicale à travers le monde. Les comités des compétences doivent visualiser efficacement les données d'évaluation des apprenants pour soutenir leurs prises de décision. Les tableaux de bord jouent un rôle essentiel dans les systèmes d'aide à la décision dans d'autres disciplines. La recherche orientée par la conception permet le développement et l'étude simultanés des environnements éducatifs. MÉTHODES: Nous avons utilisé un processus de recherche orienté par la conception au sein du programme de résidence en médecine d'urgence à l'Université de la Saskatchewan pour déterminer les données, les analyses et les visuels dont a besoin son comité des compétences, et avons développé un tableau de bord intégrant ces éléments. Les données narratives ont été recueillies auprès de deux groupes de discussion, lors de cinq entrevues et par l'observation de deux réunions du comité des compétences. Les données ont été analysées de manière qualitative pour élaborer un cadre thématique soulignant les besoins du comité des compétences et orienter le développement du tableau de bord. RÉSULTATS: L'analyse qualitative a dégagé quatre besoins du comité des compétences (explorer les données d'évaluation en milieu de travail, explorer d'autres données d'évaluation, comprendre les données dans leur contexte et s'assurer la sécurité des données). Ces besoins ont étédécrits avec des récits et représentés par des visuelsdes éléments du tableau de bord. CONCLUSIONS: Le présent travail aborde les difficultés pratiques de soutenir une prise de décision fondée sur des données par les comités des compétences et oriente le développement des tableaux de bord pour les programmes, les établissements et les systèmes de gestion des apprenants.