Oficina para elaboração de testes de múltipla escolha de ciências básicas aplicadas: relato de experiência / Workshop on item writing to assess basic sciences in health professional education: an experience report

RESUMO

Resumo Introdução: A avaliação do estudante é componente essencial de todo programa educacional. O aprendizado das ciências básicas é fundamental para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. Entretanto, a maioria dos treinamentos de elaboradores de testes de múltipla escolha (TME) é voltada à formulação de questões clínicas e não inclui abordagem específica para questões das ciências básicas. Relato de experiência Foi realizada uma oficina para a capacitação docente na elaboração de TME de aplicação dos conhecimentos de ciências básicas, visando à elaboração de uma prova a ser aplicada no final do ciclo básico de seis cursos da saúde. O material instrucional foi elaborado pelos autores, que ofereceram uma oficina no formato on-line. Um diferencial dessa capacitação foi a aplicação de modelos de elaboração de enunciados com contextos definidos, utilizando momentos de preparo assíncronos e encontro síncrono. Após a oficina, aplicaram-se questionários sobre a satisfação e aprendizagem dos participantes. A maioria avaliou a oficina como boa ou muito boa e referiu aumento da percepção de capacidade para elaborar TME, e, ao final, somente 7% se sentiram pouco preparados para elaborar um TME seguindo as boas práticas. Houve melhora na qualidade dos TME elaborados, tendo como referencial os índices de dificuldade e discriminação. Discussão Existem evidências do valor do desenvolvimento do corpo docente na melhoria da qualidade das questões produzidas. O formato de oficina proposto foi bem avaliado pelos participantes e contribuiu para a qualidade das questões de provas aplicadas ao final do ciclo básico. Conclusão: Estratégias como a descrita qualificam as avaliações dentro da escola e contribuem para a organização de provas externas.

ABSTRACT

Abstract Introduction: Student assessment is an essential component of all educational programs. Basic science learning is essential for making clinical knowledge meaningful to healthcare students. However, most item writer training is focused on the formulation of clinical questions and does not include a specific approach to basic science questions. Experience Report Workshops on item writing for knowledge application on basic sciences were carried out with the aim of planning a test to be applied at the end of the basic cycle of six health courses. The instructional material was prepared by the authors, who offered online workshops. A differential of this training was the application of models of item lead-in elaboration with defined contexts, using moments of asynchronous preparation and synchronous encounter. After each workshop, surveys were applied to assess participants' satisfaction and learning. Most participants rated the workshop as good or very good and reported an increase in their perceived ability to prepare single best answer multiple-choice questions. At the end, only 7% reported they were not prepared to write an item following good practices. There was an improvement in the quality of the items prepared, using the difficulty and discrimination indexes as a reference. Discussion: There is evidence of the value of faculty development in improving the quality of the questions produced. The proposed workshop format was well evaluated by the participants and contributed to the quality of tests applied to students at the end of the basic science cycle. Conclusion: Strategies such this qualify assessments within the school and contribute to the organization of external exams.