Progress test as an assessment for learning approach in an Infectious Diseases Residency Program: a case study

ABSTRACT Assessment is an essential component for all educational programs and must check competence acquirement while foster and promote learning. Progress Test (PT) is well recognized to assess cognitive knowledge, clinical reasoning and decision making in the clinical context, offering important information about the individual performance and program quality. It is widely used in Brazilian and international medical schools; however, it still has little role in assessing medical residents in Brazil. We present the experience of a PT pilot implementation in an Infectious Diseases residency program over two years. The first, second and third-year residents did four serial exams with 40 multiple choice questions (item)/each. Preceptors were trained on best practices on item writing. All the items were reviewed by a panel of experts and, after approval, included in the item bank. All participants answered a survey on their perceptions about the experience. The final score was higher for the third-year residents in all exam applications. The level of satisfaction was high among the participants, who mentioned the learning opportunity with the exam and the feedback. PT can improve residents' assessment along the training period and residents' performance should guide review and improvement of the programs.

Reliability across content areas in progress tests assessing medical knowledge: a Brazilian cross-sectional study with implications for medical education assessments

ABSTRACT BACKGROUND: Brazilian medical schools equitably divide their medical education assessments into five content areas: internal medicine, surgery, pediatrics, obstetrics and gynecology, and public health. However, this division does not follow international patterns and may threaten the examinations' reliability and validity. OBJECTIVE: To assess the reliability indices of the content areas of serial, cross-institutional progress test examinations. DESIGN AND SETTINGS: This was an analytical, observational, and cross-sectional study conducted at nine public medical schools (mainly from the state of São Paulo) with progress test examinations conducted between 2017 and 2023. METHODS: The examinations covered the areas of basic sciences, internal medicine, surgery, pediatrics, obstetrics and gynecology, and public health. We calculated reliability indices using Cronbach's α, which indicates the internal consistency of a test. We used simple linear regressions to analyze temporal trends. RESULTS: The results showed that the Cronbach's α for basic sciences and internal medicine presented lower values, whereas gynecology, obstetrics, and public health presented higher values. After changes in the number of items and the exclusion of basic sciences as a separate content area, internal medicine ranked highest in 2023. Individually, all content areas except pediatrics remained stable over time. CONCLUSIONS: Maintaining an equitable division in assessment content may lead to suboptimal results in terms of assessment reliability, especially for internal medicine. Therefore, content sampling of medical knowledge for general assessments should be reappraised.

Reflexões sobre a utilização do Teste de Progresso na avaliação programática do estudante / Reflections on the use of the Progress Test in the programmatic student assessment

Resumo: Introdução: O Teste de Progresso (TP) constitui modalidade estabelecida e bem-sucedida de avaliação de conhecimentos do estudante das profissões da saúde, principalmente os de Medicina, com potencial de contribuir substancialmente para as finalidades formativa e informativa (controle de qualidade e indicação de melhoria nos processos de ensino e aprendizagem). Adicionalmente, o TP apresenta características adequadas à sua inclusão em sistemas institucionais de avaliação que privilegiem a finalidade formativa, como a avaliação programática (AP), mas que cumprem também a somativa. Nas escolas que vêm definindo ações visando à introdução da AP em seus cursos de graduação, é necessária a reflexão sobre as fortalezas e limitações da utilização do TP no sistema de avaliação. Desenvolvimento: A partir das considerações de um grupo de trabalho representativo de toda a instituição, incumbido de propor meios de introdução da AP em um novo currículo para o curso de Medicina, contando com assessoria internacional com experiência tanto no TP como na AP, elaborou-se reflexão sobre esse tema, baseada na experiência dos autores e em dados da literatura. Propõe-se que, dentro da perspectiva longitudinal da AP, o TP constitua um dos pilares na avaliação de conhecimentos. O TP pode servir de base para acompanhamento do estudante, no contexto da sua turma (coorte), e seus resultados devem ser discutidos com o mentor que o acompanha e lhe dá suporte. O TP deve ter também papel central na gestão, como fonte de informações para eventual revisão e qualificação do currículo e das suas atividades de ensino e aprendizagem. É previsível que a utilização do TP na AP traga diferentes desafios e barreiras, que serão mais facilmente superados se houver na instituição experiências já consolidadas de aplicação de exames institucionais e de desenvolvimento docente para a elaboração de questões objetivas de boa qualidade. Conclusão: A efetividade do TP dentro do sistema institucional de AP vai depender de medidas que visem aumentar a sua efetividade na avaliação e que estimulem a participação ativa do estudante, refletindo sobre seu desempenho no TP, com o apoio do seu mentor, de modo a se engajar em ações que fomentem a autorregulação da aprendizagem.

Abstract: Introduction: The Progress Test (PT) is a well-established and mostly successful modality of student knowledge assessment in the health professions, mainly those in the medical area, with the potential to contribute substantially to the formative and informative purposes (quality control and indication of improvement in the teaching-learning processes). Additionally, the PT has characteristics that are adequate for its inclusion in institutional evaluation systems that facilitate the formative purpose, such as programmatic assessment (PA), but that also meet the summative purpose. In schools that have defined actions aimed at introducing PA in their undergraduate courses, it is necessary to reflect on the strengths and limitations of using PT in the evaluation system. Development: based on the considerations of a working group representative of the entire institution, tasked with proposing means of introducing PA in a new curriculum for the medical course, with international advice with experience in both PT and PA, we generated a reflection on this topic, based on the authors' experience and data from the literature. It is proposed that, within the longitudinal perspective of the PA, the PT constitutes one of the pillars in the assessment of knowledge. The PT can be used as a basis for monitoring the students, in the context of their class (cohort), and its results should be discussed with the mentors who accompanies and supports them. The PT must also play a central role in management, as a source of information for eventual review and qualification of the curriculum and its teaching-learning activities. It is predictable that the use of the PT in PA will bring different challenges and barriers, which will be more easily overcome if the institution has already consolidated experiences in the application of institutional exams and in faculty development for the production of good quality objective questions. Conclusion: the effectiveness of the PT within the institutional PA system will depend on measures aimed at increasing its effectiveness in the assessment and that encourage the student's active participation, reflecting on their performance in the PT, with the support of their mentor, aiming to engage in actions that encourage learning self-regulation.

Teste de Progresso: ausência de alunos de Medicina é sugestiva de mau desempenho acadêmico / Progress Test: medical student absenteeism is suggestive of poor academic performance

Resumo: Introdução: Não se sabe se a ausência de estudantes de Medicina ao Teste de Progresso (TP) se dá de forma aleatória ou por alguma característica sistemática deles, o que poderia influenciar a representatividade dos resultados obtidos pelos participantes. Objetivo: Este estudo teve como objetivos comparar os índices de desempenho acadêmico, no curso de Medicina da UFSC, dos alunos presentes e ausentes ao TP em 2019; propor uma maneira de estimar, a partir desses índices, quais seriam as notas dos faltantes se tivessem participado do TP; e identificar fatores associados à ausência ao TP. Método: Foram comparadas as médias dos índices de desempenho acadêmico, globais e nas diferentes fases (semestres) dos grupos de alunos presentes e ausentes ao TP, utilizando teste t de Student para amostras independentes. Por meio de uma técnica de regressão linear, foram imputadas as prováveis notas no TP ao grupo de alunos ausentes. Resultado: As médias globais dos três indicadores acadêmicos foram significativamente menores nos alunos ausentes ao TP (p variando de < 0,03 a < 0,0001); em dez das 11 fases (semestres) analisadas do curso, os indicadores acadêmicos dos faltosos foram piores do que dos presentes. A imputação de notas no TP aos ausentes permitiu verificar que existe correlação (R = 0,62) entre a porcentagem destes e a diferença de notas entre os grupos que realizaram e os que faltaram ao TP. Entre os alunos do gênero masculino, 25,8% não fizeram o TP, enquanto no gênero feminino foram 16,6% (diferença com p < 0,01). Conclusão: A ausência de alunos ao TP não se dá de forma aleatória. Entre os faltosos, há uma tendência sistemática de existirem alunos com piores índices de desempenho acadêmico. O uso de imputação múltipla de dados evidencia uma correlação entre a porcentagem de faltosos e a diferença na média da nota no TP, desse grupo, comparada à média da nota dos participantes. A proporção de homens que faltaram ao TP foi significativamente maior do que a de mulheres.

Abstract: Introduction: It is not known whether the absence of medical students at the Progress Test (PT) is random event or if it due to some systematic characteristic of the students, which could influence the representativeness of the results obtained by the participants. Objectives: 1) to compare the academic performance indexes, in UFSC Medical School, of students who were present and absent from the PT in 2019; 2) to propose a way to estimate, based on these indexes, what the absentee's grades would be if they had participated in the PT; 3) to identify factors associated with absence from the PT. Method: The averages of academic performance indexes, overall and in the different phases (semesters) in the groups of students who were present and absent from the PT, were compared using Student's t test for independent samples. Using a linear regression technique, the probable PT scores were assigned to the group of absent students. Results: The global averages of the three academic indicators were significantly lower in students absent from the PT (p ranging from < 0.03 to < 0.0001); in 10 of the 11 analyzed course phases (semesters), the academic indicators of absentees were worse than those present at the test. The attribution of PT grades to the absentees allowed us to verify that there is a correlation (R=0.62) between the percentage of these students and the difference in grades between the groups that took and those that did not take the PT. Among male students, 25.8% did not attend the PT, while among female students the number of absentees was 16.6% (difference with p <0.01). Conclusions: The absence of students at the PT does not occur randomly. Among the absentees, there is a systematic tendency to have students with worse academic performance. The use of multiple imputation of data demonstrate a correlation between the percentage of absentees and the difference in the average of grades in the PT of this group, compared to the average of the participants' grades. The proportion of male students who missed the PT was significantly higher than that of female students.

Factor analysis of the performance at the medical residency exam, progress test and clerkship rotations performance coefficient / Análise fatorial do desempenho no exame de residência médica, teste de progresso e coeficiente de desempenho nos estágios do internato

Abstract: Introduction: The relationships between the students' performance on medical residency exams and progress tests and medical clerkship rotations are not well established. Objective: The objective of this study was to measure the correlations between grades on progress tests and clerkship rotations assessments and the medical residency exam and determine which performance had the strongest correlation with the final medical residency exam. Methods: This was a retrospective and longitudinal study with correlation analyses of grades on progress tests from the 1st to 6th year of medical school, the clerkship rotations performance coefficient (5th and 6th years of school) and the final medical residency exam in a cohort of students enrolled in a federal public medical school using factor analysis. Students who performed the progress tests from the 1st to 6th year were included. Results: Of 123 students enrolled in the first year of medical school in 2009, 114 (92.7%) performed the progress tests during the six years and were included. The average grades on the progress tests from 1 to 10 were 2.67 (1st year), 3.01 (2nd year), 4.19 (3rd year), 4.01 (4th year), 5.19 (5th year), and 6.38 (6th year). The average grades in the clerkship rotations were 8.32 (5th year) and 8.26 (6th year). The average score on the theoretical medical residency exam was 7.53 and the final result of the medical residency exam was 8.05. Factor analysis detected three domains with greater correlation strength that accounted for 76.3% of the model variance. Component 1 was identified as the coefficient of academic performance (CAP) 5th, CAP 6th and final medical residency exam grades, whereas component 2 was constituted by the grades of the 5th and 6th years progress tests and the third component comprised the progress tests of the 2nd, 3rd and 4th years. Conclusions: Grades on the progress tests, the clerkship rotations assessments and the final medical residency exam were correlated. Moreover, the performance during the medical clerkship rotations showed the strongest correlations with medical residency exam grades.

Resumo: Introdução: As relações entre o desempenho dos alunos nos exames de residência médica e testes de progresso e os estágios no internato médico não estão bem estabelecidas. Objetivo: Este estudo teve como objetivos medir as correlações entre as notas nos testes de progresso e as notas no internato e o resultado final do exame de residência médica, e determinar qual desempenho teve a maior correlação com o exame final da residência médica. Método: Trata-se de um estudo retrospectivo e longitudinal com análises de correlação de notas em provas de progresso do primeiro ao sexto ano do curso de Medicina, coeficiente de desempenho de estágios do internato (quinto e sexto anos) e notas do exame final de residência médica em uma coorte de alunos matriculados em uma Faculdade de Medicina de uma instituição pública federal, usando análise fatorial. Foram incluídos os alunos que realizaram os testes de progresso do primeiro ao sexto ano. Resultado: Dos 123 alunos matriculados no primeiro ano do curso de Medicina em 2009, 114 (92,7%) realizaram os testes de progresso durante os seis anos letivos e foram incluídos. As notas médias nos testes de progresso de 1 a 10 foram 2,67 (primeiro ano), 3,01 (segundo ano), 4,19 (terceiro ano), 4,01 (quarto ano), 5,19 (quinto ano) e 6,38 (sexto ano). As notas médias nos estágios foram 8,32 (quinto ano) e 8,26 (sexto ano). A nota média no exame teórico da residência médica foi 7,53; e a média no exame final da residência, 8,5. A análise fatorial detectou três domínios com maior força de correlação que responderam por 76,3% da variância do modelo. O componente 1 foi identificado como coeficiente de rendimento acadêmico (CAP) 5º, CAP 6º e o resultado final do exame de residência médica, o componente 2 foi formado pelas notas das provas de progresso do quinto e sextos anos, e o terceiro componente compreendeu as notas do progresso do segundo, terceiro e quarto anos. Conclusão: As notas das provas de progresso, as avaliações do internato e o exame final de residência médica apresentaram correlações significantes. Além disso, o desempenho durante o internato apresentou maior correlação com as notas do exame final de residência médica.

Desempenho cognitivo dos estudantes de Medicina no Teste de Progresso / Cognitive performance of medical students in the Progress Test

Resumo: Introdução: O Teste de Progresso (TP) é uma avaliação seriada e formativa, com conteúdo cumulativo desejável ao final do curso. O TP fornece um feedback do desenvolvimento cognitivo do estudante. Para o curso, faz uma avaliação diagnóstica do currículo e permite identificar potencialidades e possíveis falhas ao longo do processo de formação. Objetivo: Este estudo teve como objetivo avaliar a evolução cognitiva de graduandos de uma escola médica da Região Nordeste do país por meio do TP. Método: Trata-se de estudo observacional, analítico, transversal, com abordagem quantitativa, em que se utilizaram os resultados dos TP das turmas de 2013 a 2016 do curso de Medicina da Universidade de Fortaleza. Foram incluídos os resultados dos TP de 2013 a 2021, descritos pela porcentagem da média de cada escore, calculado o diferencial de desempenho entre o primeiro e sexto anos, pelo teste T pareado e pelo coeficiente de correlação de Pearson para os resultados do sexto ano. O estudo respeitou os aspectos éticos e foi aprovado pelo Comitê de Ética da IES. Resultado: Foram incluídos os resultados de 361 estudantes (88,0%) de seis turmas que participaram do teste desde S1. Verificou-se um aumento progressivo no desempenho cognitivo global em cada turma ao longo dos seis anos de TP. A diferença de desempenho (DDO) da turma 2015.2 foi superior às demais (p = 0,047; R = 0,73). O grau de dificuldade das provas foi semelhante. Em relação ao desempenho global do sexto ano, houve diferença no desempenho dos alunos entre as turmas, variando de 64,3% em 2016.2 a 72,5% em 2014.2 (p = 0,003; R = 0,85). A partir do terceiro ano, a análise do desempenho mostrou-se crescente para todas as turmas. O desempenho nas áreas de cirurgia e saúde coletiva apresentou maior variação entre as turmas. Conclusão: O TP confirmou ser uma ferramenta importante para a avaliação formativa dos estudantes e para o diagnóstico do currículo.

Abstract: Introduction: The progress test (PT) is a knowledge assessment tool, consisting of desirable cognitive undergraduate content, that provides feedback on the student's cognitive development.. For the school, it serves as a diagnostic evaluation of the curriculum. Objective: The aim of the study was to assess the cognitive performance in the progress test of students in the Brazilian Northeast. Method: A cross-sectional survey was conducted with results from six classes of students that performed the PT since the first semester of the medical course. The analysis consisted of PT results from 2013 to 2021, described by means, Y6-Y1 performance difference, Student's T test and Pearson correlation at 6Y. The study was approved by a Research Ethics Committee. Result: The results of 361 (88%) students showed a progressive increase in PT global scores from Y1 to Y6. The performance difference of the 2015.2 class was higher (p=0.047; R=0.73) than the others and the test difficulty index was similar for all. There was a difference between Y6 classes, ranging from 64.3% to 72.5% (p=0.003; R=0.85). From Y3 to Y6, all classes increased their PT scores. Higher variability between classes was reported in the areas of Surgery and Public Health. Conclusion: The progress test proved to be an important tool for knowledge assessment and for evaluation of the medical curriculum.

Onze anos de Teste de Progresso na Unicamp: um estudo sobre a validade do teste / Eleven years of Progress Testing at Unicamp: a test validity study

Resumo: Introdução: O curso de Medicina da Universidade Estadual de Campinas (Unicamp) vem pondo à prova o aquisição cumulativa cognitiva de seus alunos por meio do Teste de Progresso (TP) há mais de uma década, de modo a possibilitar a análise da utilidade do exame como estratégia de apoio a decisões pedagógicas e apontar principais ameaças à validade dele. Objetivo: Este estudo teve como objetivos oferecer a análise de validade do TP e explicitar as oportunidades de utilização do teste especialmente para a determinação de padrões de suficiência cognitiva para a progressão no curso e ao final deste, e a identificação de estudantes em risco. Método: Trata-se de estudo observacional retrospectivo de uma série histórica de sucessivos testes escritos realizados para analisar o acúmulo cognitivo no período de 2006 a 2016, totalizando 11 anos e seis turmas consecutivas. Em cada momento de medida (aplicação do teste), o estudo utilizou um modelo misto, em que a exposição (realização do teste) e o desfecho (escore do teste) foram avaliados no mesmo ponto de tempo, o que caracteriza um estudo transversal (cross-sectional) cujos resultados sucessivos originarão as curvas de crescimento cognitivo Resultado: Observou-se um acúmulo cognitivo em torno de 6 pontos percentuais a cada nova testagem. Os estudantes ao completarem o sexto ano obtiveram um acerto de cerca de 65,7% (± 9,1). A cada testagem, determinou-se um "efeito piso" para identificar alunos com rendimento abaixo da média, que em geral se situou em cerca de 1,5 DP abaixo da média da respectiva turma. Conclusão: O TP-Unicamp oferece dados confiáveis para apoiar importantes decisões pedagógicas, tais como identificação de alunos em risco acadêmico por baixa performance, critérios para progressão e desempenho cognitivo ao final do curso. Como confiabilidade sofre influência da amostragem, e o aumento do número de itens de cada teste e o aumento da frequência de testagem podem ser estratégias a serem tomadas para superar essas limitações.

Abstract: Introduction: The Medical School of the State University of Campinas (UNICAMP) has been testing the cumulative cognitive acquisition among its students through the Progress Test (PT) for over a decade, making it possible to analyze the utility of the test as a strategy to support pedagogical decisions and to point out the main threats to its validity. Objective: To provide an analysis of the validity of the PT, explaining opportunities for its use, especially in determining standards of cognitive sufficiency for progression, standards of cognitive sufficiency at the end of the course, and identification of students at risk. Method: Retrospective observational study of historical series of successive written tests performed to analyze cognitive accumulation, covering a period from 2006 to 2016, totaling 11 years and 6 consecutive classes. At each instance of measurement (test application), the study uses a mixed model where exposure (test performance) and outcome (test score) are evaluated at the same time point, characterizing a cross-sectional study, the successive results of which will generate the cognitive growth curves. Result: A cognitive accumulation of around 6 percentage points was observed with each new test. Students, upon completing the 6th year, scored around 65.7% (± 9.1). A "floor effect" was determined for each test to identify students with below-average performance, which in general was about 1.5 SD below the average of the respective class. Conclusion: TP-Unicamp offers reliable data to support important pedagogical decisions, such as the identification of students at academic risk for low performance, criteria for progression and cognitive performance at the end of the course. As reliability is influenced by sampling, increasing the number of items in each test and increasing the frequency of tests could represent strategies to overcome potential limitations.

Teste de Progresso e mudança curricular: trilhas do curso de Medicina da Universidade de Brasília / Progress Test and curricular change: paths followed by the University of Brasília Medical School

Resumo: Introdução: O Teste de Progresso (TP) é um instrumento de avaliação aplicado anualmente e coordenado pela Associação Brasileira de Educação Médica (Abem). A Faculdade de Medicina da Universidade de Brasília (UnB) participa do Teste de Progresso da Região Centro-Oeste (TP-CO) desde o ano de 2013 e utiliza os dados oriundos da avaliação para diagnóstico interno e discussões sobre a formação médica. Objetivo: Este estudo descreve os resultados obtidos pelos discentes no TP e analisa possíveis relações entre mudança do PPC e desempenho dos estudantes. Método: Trata-se de um estudo transversal analítico, realizado a partir dos resultados obtidos pelos discentes do curso em comparação ao universo das instituições do consórcio TP-CO entre 2013 e 2021. Nesse período, participaram do teste estudantes inseridos em duas matrizes curriculares: currículo antigo (CA) e currículo novo (CN). A fim de verificar a evolução da nota média da UnB em cada período em comparação à nota média do consórcio, foi aplicado o teste de proporção para as diferenças em cada par de notas da UnB e do consórcio, em cada ano da série histórica e período dos estudantes avaliados. Resultado: Entre 2013 e 2015, vigência do CA, não se observaram diferenças estatisticamente significativas nas médias entre os estudantes da UnB de todos os anos do curso comparados ao consórcio TP-CO. O mesmo comportamento foi verificado entre 2016 e 2018, período de transição composto por estudantes das matrizes CA e CN. Contudo, entre 2019 e 2021, vigência da nova matriz curricular, observaram-se diferenças estatisticamente significativas entre os estudantes da UnB e do consórcio. Conclusão: O TP possibilita um olhar sobre o desempenho da escola e a identificação de lacunas que geram reflexões na busca por uma educação médica de excelência. Com a experiência apresentada, foi possível identificar as trilhas percorridas pelo curso da UnB ao longo de sua participação no consórcio, considerando as mudanças curriculares.

Abstract: Introduction: The Progress Test (TP) is an assessment instrument applied annually and coordinated by the Brazilian Association of Medical Education (ABEM). The UnB School of Medicine has participated in the TP-CO since 2013 and uses the data from the assessment for internal diagnosis and discussions about medical education. Objective: describe the results obtained by students in the TP and analyze possible relationships between changes in the PPC and student performance. Method: This is an analytical cross-sectional study, based on the results obtained by the students of the course compared to the universe of institutions in the TP-CO consortium between 2013 and 2021. In this period, students enrolled in two curricular matrices sat the test: old curriculum (AC) and new curriculum (CN). In order to verify the evolution of the average score of UnB in each period compared to the average score of the consortium, the ratio test was applied to the differences in each pair of scores of UnB and consortium, in each year of the historical series and period of the students evaluated. Results: Between the years 2013 and 2015, when the CA was in effect, no statistically significant differences were observed in the averages between the UnB students of all course years compared to the TP-CO Consortium. The same behavior was verified between 2016 and 2018, a transition period composed of CA and CN matrix students. However, between 2019 and 2021, when the new curricular matrix was in effect, statistically significant differences were observed between the UnB and consortium students. Conclusion: The TP gives insight into the performance of the school and identifies gaps that generate reflections in the search for excellence in medical education. With the experience presented it was possible to identify the paths taken by the UnB course throughout its participation in the consortium, considering the curricular changes.

Como avaliar programas de residência a partir do Teste de Progresso? / How can residency programs be evaluated based on the Progress Test?

Resumo: Introdução: Embora o conhecimento especializado seja um elemento fundamental para a prática médica qualificada, não há, na maioria das especialidades, uma avaliação cognitiva unificada dos médicos residentes, e, consequentemente, não é possível verificar o conhecimento agregado durante o treinamento pelos programas de residência médica (PRM). O Teste de Progresso (TP) oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Em 2018, a Febrasgo implementou o Teste de Progresso Individual do Residente em Ginecologia e Obstetrícia (TPI-GO), que tem sido aplicado em todo o Brasil. Relato de experiência: Este estudo descritivo se refere ao acompanhamento longitudinal dos residentes que iniciaram a participação no TPI-GO em 2018 como R1 (n = 497) e concluíram a participação em 2020 como R3 (n = 314). O desempenho desses residentes no TPI-GO serviu de base para analisar o perfil de 32 PRM localizados nas Regiões Sul (28,1%), Sudeste (68,8%) e Centro-Oeste (3,1%), sendo identificados cinco diferentes perfis de PRM em relação ao desempenho dos residentes iniciantes, diferenças de desempenho entre R3 e R1 e desempenho dos concluintes. Discussão: No Brasil, não são oferecidas avaliações abrangentes e unificadas de conhecimento aos médicos residentes na maioria das especialidades, e consequentemente ainda não é possível incorporar essas informações na avaliação dos PRM. No modelo aqui apresentado, o desempenho dos residentes no TP possibilita inferir sobre o processo seletivo, o conhecimento agregado pelo PRM ao longo do treinamento e o nível de conhecimento dos concluintes, sendo reconhecidos PRM qualificados (tipo 1) e PRM que necessitam de melhorias (tipos 2, 3, 4 e 5). Conclusão: O TP oferece uma oportunidade para avaliação dos PRM a partir do desempenho dos seus residentes. Por meio do modelo aqui apresentado, é possível obter informações para subsidiar decisões institucionais que promovam melhorias dos PRM e do seu processo de formação na especialidade.

Abstract: Introduction: Although specialized knowledge is a fundamental element for qualified medical practice, in most specialties, there is no unified cognitive assessment of resident physicians, and it is impossible to verify the knowledge gained during training in Medical Residency Programs (MRPs). The Progress Test (PT) provides an opportunity to evaluate MRPs based on the performance of the residents. In 2018, Febrasgo applied the Resident Progress Test in Gynecology and Obstetrics (TPI-GO) throughout Brazil. Experience report: This descriptive study refers to the longitudinal follow-up of residents who started participating in the TPI-GO in 2018 as R1 (n=497) and completed their participation in 2020 as R3 (n = 314). The performance of these residents in the TPI-GO served as a basis for analyzing the profile of 32 MRPs located in the South (28.1%), Southeast (68.8%), and Central-West (3.1%) regions of Brazil, with five different identified PRM profiles in relation to the performance of beginner residents, differences in performance between R3 and R1 and the performance of residency graduates. Discussion: In Brazil, comprehensive and unified assessments of knowledge are not offered to resident physicians in most specialties, and consequently, it is not yet possible to incorporate this information into the assessment of MRPs. In the model presented here, the performance of residents in the PT enables one to make inferences about the selection process, the knowledge added by the MRP throughout the training, and the level of knowledge of the graduates, being recognized as qualified MRPs (type 1) and MRPs that need improvement (types 2, 3, 4 and 5). Conclusion: The PT offers an opportunity to evaluate MRPs based on the performance of their residents. Through the model presented here, it is possible to obtain information to support institutional decisions that promote improvements in MRPs and their training process in the specialty.

O Teste de Progresso na residência médica em ginecologia e obstetrícia: a experiência nacional / The Progress Test in gynecology and obstetrics medical residency: the national experience

Resumo: Introdução: O Teste de Progresso (TP) é uma avaliação cognitiva abrangente e longitudinal com vantagens para o aprendiz, os programas educacionais e a sociedade. No Brasil, embora seja amplamente utilizado na graduação, existe pouca experiência do seu uso na residência médica. Este estudo visa retratar a experiência da Federação Brasileira das Associações de Ginecologia e Obstetrícia (Febrasgo) nos quatro primeiros anos de implementação do TP Individual do Residente em Ginecologia e Obstetrícia (TPI-GO). Relato da experiência: O TPI-GO foi implementado em 2018, sendo oferecido anualmente aos residentes brasileiros. Nos dois últimos anos, o TPI-GO passou a ser oferecido no formato on-line. Para incentivar a participação, estabeleceram-se critérios que possibilitam dispensa ou bonificação na prova teórica para a obtenção do Título de Especialista em Ginecologia e Obstetrícia (Tego) para os candidatos com melhor desempenho. Os resultados são fornecidos de maneira sigilosa a cada candidato. Os resultados do desempenho dos residentes de um mesmo serviço são fornecidos ao supervisor do programa sem a identificação dos seus residentes, de modo a oferecer subsídios para autoavaliação da qualidade e indicar pontos de melhoria. Discussão: Desde a implementação do TP, verificou-se um número crescente de candidatos inscritos com elevada taxa de aderência à prova. As medianas de desempenho do grupo de residentes evidenciaram evolução cognitiva entre os iniciantes (R1) e os concluintes (R3) dos programas. Conclusão: A implementação do TP na residência é factível e aceitável, apresentando vantagens e benefícios. No entanto, requer preparo e envolvimento da equipe organizadora, além de apoio logístico e financeiro. O sigilo na divulgação dos resultados é recomendável e preserva o candidato. A possibilidade de bonificação e dispensa na prova teórica do Tego é um grande atrativo para a adesão e aderência dos médicos residentes ao TP. A aplicação da prova em ambiente on-line amplia o acesso, com níveis aceitáveis de segurança.

Abstract: Introduction: The Progress Test (PT) is a comprehensive, longitudinal cognitive assessment with benefits for the learner, educational programs, and society. Although it is widely used in undergraduate courses in Brazil, there is little experience regarding its use in medical residency. This study aims to portray Febrasgo's experience in the first four years of implementing the Resident's Individual PT in ObGyn (TPI-GO). Experience report: The TPI-GO was implemented in 2018, being offered annually to Brazilian residents. In the last two years, the TPI-GO has been provided online. Febrasgo established criteria that allow for exemption or bonus in the theoretical test to encourage the trainees' participation in the TPI-GO to obtain the Specialist Certification in Gynecology and Obstetrics (TEGO). Results are provided confidentially to candidates and allow self-assessment. The results of the residents' performance from the same service are provided to the program supervisor, offering subsidies for self-assessment of quality and indicating points for improvement. Discussion: Since it was implemented, there has been an increasing number of candidates enrolled in the TPI-GO and a high adherence rate. The medians of performance of the two cohorts of residents studied showed cognitive evolution between beginners (R1) and graduates (R3), with differences attributed in part to the adverse effects of the Pandemic on training. Conclusion: The implementation of the PT in medical residency is feasible, acceptable, and shows advantages and benefits, but it requires the commitment of the organizing team, besides logistical and financial support. The results confidentiality is recommended and preserves the candidate. The possibility of granting bonuses and exemptions in the TEGO theoretical test is an excellent attraction aiming at the adhesion and adherence of residents to the PT. The TPI-GO online increases access with acceptable levels of security.

Inserção do Teste de Progresso num curso de Medicina paulista: relato de uma experiência bem-sucedida / Insertion of the Progress Test in a São Paulo Medicine course: report of a successful experience

Resumo: Introdução: O Teste de Progresso no curso de Medicina (TPMed) tem sido utilizado pelas escolas médicas que implantaram mudanças curriculares, com currículos baseados/orientados na comunidade, aprendizagem baseada em problemas e currículos orientados por competências, entre outros, além de alguns programas de pós-graduação ou disciplinas isoladas. Baseado nessa premissa, o presente relato se propõe a descrever a experiência no processo de implantação do TPMed em nossa instituição e a participação estudantil nele. Relato de experiência: Dada a importância do TPMed, o curso de Medicina da Universidade Santo Amaro (Unisa) se filiou ao Consórcio São Paulo I (SP1), composto pelas seguintes escolas de Medicina: ABC, Jundiaí, Catanduva, PUC Sorocaba, PUC Goiás e Unoeste, iniciando nossa experiência em 2018. A inserção da Unisa no TPMed foi estimulada a partir da participação no Congresso Brasileiro de Educação Médica (Cobem), com a subsequente associação ao Consórcio SP1. Inúmeras iniciativas de sensibilização do corpo docente e do corpo discente da instituição, com a colaboração da diretoria da Regional São Paulo da Associação Brasileira de Educação Médica (Abem), resultaram em 96,74% de participação discente no TPMed em 2018, 97,12% em 2019, 98,85%, em 2020 e 86,10% em 2021. Em relação ao desempenho dos estudantes, encontramos um aumento progressivo de acertos ao longo dos seis anos de graduação: 32,63% como média de acerto no primeiro semestre, e 62,87%, no 12º semestre. Discussão: A influência positiva do TPMed na aprendizagem do aluno foi a motivação da Unisa para vencer os desafios e mobilizar os estudantes no primeiro ano em que aplicamos a prova, corroborando a grande participação deles. Houve uma queda da adesão ao Teste de Progresso Nacional da Abem - 2021 dos alunos da Unisa, tendo como possível causa os problemas técnicos ocorridos na aplicação dele, que foi on-line. Conclusão: O efeito positivo do TPMed foi observado de forma clara na Unisa. O trabalho direcionado, enfatizando a relevância do TPMed, faz-se mister no seu reconhecimento, resultando em uma forte adesão dos nossos acadêmicos a essa avaliação.

Abstract: Introduction: The Medical Course Progress Test (TPMed) has been used by medical schools that have implemented curricular changes, with, for example, community-based/oriented curricula, problem-based learning and competency-oriented curricula, in addition to some graduate programs or isolated disciplines. Based on this premise, the present report proposes to describe the experience in the TPMed implementation process in our Institution and student participation in it. Experience report: Given the importance of the TPMed, the Medicine course at Universidade Santo Amaro (UNISA) joined the SP1 Consortium, with our experience beginning in 2018. The inclusion of UNISA in the TPMed was driven by the school's participation in the Brazilian Congress of Medical Education (COBEM), and its subsequent association with the Consortium (SP1). Numerous initiatives to raise awareness of the institution's faculty and students, with the collaboration of the São Paulo Regional Board of the Brazilian Association of Medical Education (ABEM) resulted in 96.74% student participating in the TPMed in 2018, 97.12% in 2019, 98.85% in 2020 and 86.10% in 2021. Regarding student performance, we found a progressive increase in correct answers over the six years of the undergraduate course, 32.63% as an average score in the first semester and 62.87% in the twelfth semester. Discussion: The positive influence of the TPMed on student learning was UNISA's motivation to overcome the challenges and mobilize the students in the first year in which the test was applied, corroborating their substantial participation. There was a drop in adherence to the ABEM National Progress Test - 2021 by UNISA students, possibly due to technical problems that occurred in its online application. Conclusion: The positive effect of the TPMed was clearly observed in UNISA. This directed work, which emphasized the relevance of the TPMed, is essential for its recognition, and resulted in a strong adhesion of our academics in this evaluation.

Factors associated with student performance on the medical residency test

SUMMARY OBJECTIVE: To determine whether the scores of the Progress test, the Skills and Attitude test, and the medical internship are correlated with the medical residency exam performance of students who started medical school at the Federal University of São Paulo in 2009 METHODS: The scores of 684 Progress tests from years 1-6 of medical school, 111 Skills and Attitude exams (5th year), 228 performance coefficients for the 5th and 6th years of internship, and 211 scores on the medical residency exam were analyzed longitudinally. Correlations between scores were assessed by Pearson's correlation. Factors associated with medical residency scores were analyzed by linear regression. RESULTS: Scores of Progress tests from years 1-6 and the Skills and Attitude test showed at least one moderate and significant correlation with each other. The theoretical exam and final exam scores in the medical residency had a moderate correlation with performance in the internship. The score of the theoretical medical residency exam was associated with performance in internship year 6 (β=0.833; p<0.001), and the final medical residency exam score was associated with the Skills and Attitude score (β=0.587; p<0.001), 5th-year internship score, (β=0.060; p=0.025), and 6th-year Progress test score (β=0.038; p=0.061). CONCLUSIONS: The scores of these tests showed significant correlations. The medical residency exam scores were positively associated with the student's performance in the internship and on the Skills test, with a tendency for the final medical residency exam score to be associated with the 6th-year Progress test.

RESUMO OBJETIVO: Analisar a presença de correlação e associação entre as notas dos Testes de Progresso, provas de Habilidades e Atitudes e notas de desempenho no internato em relação às notas de Residência Médica (RM) de alunos ingressantes em 2009 no curso médico da Universidade Federal de São Paulo. MÉTODOS: análise longitudinal de 684 notas de Testes de Progresso do 1º ao 6º ano, 111 de Habilidades e Atitudes (5º ano), 228 coeficientes de rendimento do 5º e 6º anos e 211 notas da Prova de Residência Médica. Analisou-se a correlação de Pearson entre as notas e os fatores associados às notas da RM por regressão linear. RESULTADOS: Os Testes de Progresso do 1º ao 6º ano e Habilidades apresentaram pelo menos uma correlacao moderada e significante entre si. As notas da prova teorica e nota final da RM tiveram correlacao moderada com as notas de desempenho no internato. A nota teorica da Prova de RM se associou ao desempenho no internato no 6º ano (β=0,833; p<0,001) e nota final da Prova de RM se associou as notas da prova de Habilidades e Atitudes (β=0,587; p<0,001), desempenho no 5º ano (β=0,060, p=0,025) e Testes de Progresso do 6º ano (β=0,038; p=0,061). CONCLUSÕES: Houve correlacao significante entre as notas das diversas provas. A nota da prova de Residencia Medica se associou positivamente ao desempenho do aluno no internato e prova de Habilidades, com tendencia de associacao do Teste de Progresso do 6º ano com o desempenho final na prova de RM.

Progress Test in Medical School: a Systematic Review of the Literature / Teste de Progresso na Escola Médica: uma Revisão Sistemática acerca da Literatura

Abstract: Progress Test is an objective assessment, consisting of 60 to 150 multiple-choice questions, designed to promote an assessment of the cognitive skills expected at the end of undergraduate school. This test is applied to all students on the same day, so that it is possible to compare the results between grades and analyze the development of knowledge performance throughout the course. This study aimed to carry out a systematic and literary review about Progress Test in medical schools in Brazil and around the world, understanding the benefits of its implementation for the development of learning for the student, the teacher and the institution. The study was carried out from July 2018 to April 2019, which addressed articles published from January 2002 to March 2019. The keywords used were: "Progress Test in Medical Schools" and "Item Response Theory in Medicine" in the PubMed, Scielo, and Lilacs platforms. There was no language limitation in article selection, but the research was carried out in English. A total of 192,026 articles were identified, and after applying advanced search filters, 11 articles were included in the study. The Progress Test (PTMed) has been applied in medical schools, either alone or in groups of partner schools, since the late 1990s. The test results build the students' performance curves, which allow us to identify weaknesses and strengths of the students in the several areas of knowledge related to the course. The Progress Test is not an exclusive instrument for assessing student performance, but it is also important as an assessment tool for academic management use and thus, it is crucial that institutions take an active role in the preparation and analysis of this assessment data. Assessments designed to test clinical competence in medical students need to be valid and reliable. For the evaluative method to be valid it is necessary that the subject be extensively reviewed and studied, aiming at improvements and adjustments in test performance.

Resumo: O Teste de Progresso é uma avaliação objetiva, estruturada com 60 a 150 questões de múltipla escolha, elaborada com o objetivo de promover uma avaliação das competências cognitivas esperadas no final do curso de graduação. Esse teste é aplicado a todos os discentes no mesmo dia, de modo que seja possível comparar os resultados entre as séries e analisar a performance evolutiva do conhecimento no decorrer do curso. Este trabalho teve como objetivo realizar uma revisão sistemática e literária acerca do Teste de Progresso nas escolas médicas no Brasil e no mundo, compreendendo os benefícios de sua implantação para o desenvolvimento do aprendizado, tanto para o aluno quanto para o docente e para a instituição. A pesquisa foi realizada no período de julho de 2018 a abril de 2019 e abordou artigos publicados no período de janeiro de 2002 a março de 2019. Utilizaram-se os descritores "Teste de Progresso nas escolas médicas" e "Teoria de Resposta ao Item em Medicina" nas plataformas PubMed, SciELO e Lilacs. Não houve limitação de idioma na seleção dos artigos, porém a pesquisa foi realizada em inglês. Foram encontrados 192.026 artigos, e, após a aplicação de filtros de busca avançada, incluíram-se 11 artigos no estudo. O Teste de Progresso (TP) vem sendo aplicado nas escolas médicas, de forma isolada ou em grupos de escolas parceiras, desde o final da década de 1990. Os resultados do teste constroem curvas de desempenho dos acadêmicos, o que permite identificar fragilidades e qualidades dos estudantes nas diversas áreas do conhecimento relacionadas ao curso. O Teste de Progresso não é um instrumento exclusivo de avaliação do desempenho dos estudantes, mas assume também um significado como ferramenta avaliativa para uso na gestão acadêmica, e para isso é fundamental que as instituições assumam papel ativo na elaboração e na análise dos dados dessa avaliação. Os exames desenvolvidos para testar a competência clínica em estudantes de Medicina necessitam ser válidos e confiáveis. Para que o método avaliativo seja válido, é necessário que o assunto seja amplamente revisado e estudado, visando a melhorias e adequações na execução dos testes.

Undergraduate Medical Students Perception about the Progress Testing / Percepção dos Acadêmicos de Medicina sobre o Teste de Progresso

Abstract: Introduction: The Progress Test was created to address the necessity of measuring the level of knowledge consolidation along the years of Medical school. The test is administered periodically to all students in a curriculum, assessing the student's cognitive growth throughout their journey at undergraduate level. In addition to assessing the student individually, the test evaluates the institution, showing in which areas its curriculum base should be improved. The aim is to assess the Universidade do Extremo Sul Catarinense student's perception of the Progress Test. Methods: A cross-sectional study was performed. Data was collected through questionnaires created by the researchers and applied to medical students - the ones who took the Progress Test at least once - from October 15th to November 30th, 2018. The statistical analysis was performed with a 95% confidence interval. Results: A response rate of 70.41% was obtained, with a total of 424 questionnaires being included in the research. Demographic data showed a predominance of female gender (60,4%) and white ethnicity (96,2%) in the population and a mean age of 23 years. In all semesters (early, intermediate and final ones) the participants knew the goal of the progress test, and most students consider it important. It was also observed that the majority of the students considered clinical surgery and collective health as their worst performance in the test. In clinical medicine, pediatrics, and gynecology-obstetrics, the students of the intermediate and final semesters were satisfied with their level of knowledge. "To evaluate the student's progress/performance" was highlighted as the most positive point. Among the negative ones "decrease the number of questions so the test is not as extensive" was emphasized. Conclusion: The students of the sample consider the Progress Test important and know about its purpose. The final third of the Medical School is the one who feels most prepared to face the test. The main fields to which the students attributed their worst performance were clinical surgery and collective health. Regarding clinical medicine, pediatrics, gynecology, and obstetrics the students were satisfied with their knowledge.

Resumo: Introdução: O Teste de Progresso serve para medir a consolidação do conhecimento ao longo da formação acadêmica médica. O teste é administrado periodicamente a todos os alunos de um currículo, com o propósito de avaliar o crescimento cognitivo deles na graduação. Além de avaliar o estudante de forma individual, o teste avalia a instituição, de modo a mostrar em quais áreas a sua base curricular deve ser melhorada. O objetivo deste estudo foi avaliar a percepção de acadêmicos de Medicina da Universidade do Extremo Sul Catarinense em relação ao Teste de Progresso. Método: Realizou-se um estudo transversal, em que se coletaram dados por meio de questionários elaborados pelos pesquisadores, aplicados aos alunos do curso de Medicina - que fizeram o Teste de Progresso em algum momento do curso - no período de 15 de outubro a 30 de novembro de 2018. A análise estatística foi realizada com um nível de confiança de 95%. Resultados: Obteve-se uma taxa de resposta de 70,41%, com um número de 424 questionários incluídos na pesquisa. Os dados demográficos revelam uma população de predominância feminina (60,4%), branca (96,2%), com uma média de 23 anos de idade. Nas fases iniciais, intermediárias e finais da pesquisa, os participantes sabiam o objetivo do Teste de Progresso, bem como a maioria dos estudantes, em todas as fases, considerou-o importante. Observou-se também que a maioria dos estudantes considera clínica cirúrgica e saúde coletiva como seu pior desempenho no Teste de Progresso. Já nas áreas de clínica médica, pediatria e ginecologia obstetrícia, os estudantes das fases intermediárias e finais se consideram satisfeitos com seu nível de conhecimento. "Avaliar a evolução/o desempenho do acadêmico" foi o ponto positivo mais citado. Já entre os negativos, destacou-se "diminuir o número de questões para que a prova não fique tão extensa". Conclus ões: Os estudantes da amostra consideram o Teste de Progresso importante e conhecem o objetivo dele. Reconheceram que se sentiram mais preparados nas fases finais. As principais áreas a que os estudantes atribuíram seu pior desempenho foram: clínica cirúrgica e saúde coletiva. Já nas áreas de clínica médica, pediatria e ginecologia obstetrícia, eles se mostraram satisfeitos com o próprio nível de conhecimento.

Comparison of the level of cognitive processing between case-based items and non-case-based items on the Interuniversity Progress Test of Medicine in the Netherlands / 보건의료교육평가

PURPOSE: It is assumed that case-based questions require higher-order cognitive processing, whereas questions that are not case-based require lower-order cognitive processing. In this study, we investigated to what extent case-based and non-case-based questions followed this assumption based on Bloom's taxonomy. METHODS: In this article, 4,800 questions from the Interuniversity Progress Test of Medicine were classified based on whether they were case-based and on the level of Bloom's taxonomy that they involved. Lower-order questions require students to remember or/and have a basic understanding of knowledge. Higher-order questions require students to apply, analyze, or/and evaluate. The phi coefficient was calculated to investigate the relationship between whether questions were case-based and the required level of cognitive processing. RESULTS: Our results demonstrated that 98.1% of case-based questions required higher-level cognitive processing. Of the non-case-based questions, 33.7% required higher-level cognitive processing. The phi coefficient demonstrated a significant, but moderate correlation between the presence of a patient case in a question and its required level of cognitive processing (phi coefficient= 0.55, P< 0.001). CONCLUSION: Medical instructors should be aware of the association between item format (case-based versus non-case-based) and the cognitive processes they elicit in order to meet the desired balance in a test, taking the learning objectives and the test difficulty into account.