Developing a dashboard to meet Competence Committee needs: a design-based research project.

ABSTRACT

BACKGROUND: Competency-based programs are being adopted in medical education around the world. Competence Committees must visualize learner assessment data effectively to support their decision-making. Dashboards play an integral role in decision support systems in other fields. Design-based research allows the simultaneous development and study of educational environments. METHODS: We utilized a design-based research process within the emergency medicine residency program at the University of Saskatchewan to identify the data, analytics, and visualizations needed by its Competence Committee, and developed a dashboard incorporating these elements. Narrative data were collected from two focus groups, five interviews, and the observation of two Competence Committee meetings. Data were qualitatively analyzed to develop a thematic framework outlining the needs of the Competence Committee and to inform the development of the dashboard. RESULTS: The qualitative analysis identified four Competence Committee needs (Explore Workplace-Based Assessment Data, Explore Other Assessment Data, Understand the Data in Context, and Ensure the Security of the Data). These needs were described with narratives and represented through visualizations of the dashboard elements. CONCLUSIONS: This work addresses the practical challenges of supporting data-driven decision making by Competence Committees and will inform the development of dashboards for programs, institutions, and learner management systems.

CONTEXTE Les programmes fondés sur la compétence sont adoptés dans la formation médicale à travers le monde. Les comités des compétences doivent visualiser efficacement les données d'évaluation des apprenants pour soutenir leurs prises de décision. Les tableaux de bord jouent un rôle essentiel dans les systèmes d'aide à la décision dans d'autres disciplines. La recherche orientée par la conception permet le développement et l'étude simultanés des environnements éducatifs. MÉTHODES Nous avons utilisé un processus de recherche orienté par la conception au sein du programme de résidence en médecine d'urgence à l'Université de la Saskatchewan pour déterminer les données, les analyses et les visuels dont a besoin son comité des compétences, et avons développé un tableau de bord intégrant ces éléments. Les données narratives ont été recueillies auprès de deux groupes de discussion, lors de cinq entrevues et par l'observation de deux réunions du comité des compétences. Les données ont été analysées de manière qualitative pour élaborer un cadre thématique soulignant les besoins du comité des compétences et orienter le développement du tableau de bord. RÉSULTATS L'analyse qualitative a dégagé quatre besoins du comité des compétences (explorer les données d'évaluation en milieu de travail, explorer d'autres données d'évaluation, comprendre les données dans leur contexte et s'assurer la sécurité des données). Ces besoins ont étédécrits avec des récits et représentés par des visuelsdes éléments du tableau de bord. CONCLUSIONS: Le présent travail aborde les difficultés pratiques de soutenir une prise de décision fondée sur des données par les comités des compétences et oriente le développement des tableaux de bord pour les programmes, les établissements et les systèmes de gestion des apprenants.