RESUMO
Introduction: Inconsistent or superficial access to workplace learning experiences can impede medical students' development. Well-designed clerkship curricula provide comprehensive education by offering developmental opportunities in and out of the workplace, explicitly linked to competency objectives. Questions remain about how students engage with clerkship curriculum offerings and how this affects their achievement. This study investigated student engagement as the source of an apparent clerkship curriculum malfunction: increasing rate of substandard summative clinical competency exam (SCCX) performance over 3 years following curriculum reform. Materials and Methods: We sampled from three cohorts of US medical students (classes of 2018-2020) based on their post-clerkship SCCX performance: substandard (N = 33) vs. exemplary (N = 31). Using a conceptually based, locally developed rubric, a five-person team rated students' engagement in a curriculum offering designed to provide standardized deliberate practice on the clerkship's competency objectives. We examined the association between engagement and SCCX performance, taking prior academic performance into account. Results: Rate of substandard SCCX performance could not be explained by cohort differences in prior academic performance. Student engagement differed across cohorts and was significantly associated with SCCX performance. However, engagement did not meaningfully predict individual students' SCCX performance, particularly in light of prior academic performance. Discussion: Engagement with a particular learning opportunity may not affect clerkship outcomes, but may reflect students' priorities when navigating curricular offerings, personal learning goals, and curriculum policy. Proposing four patterns of engagement in clerkship learning, this study prompts reflection on the complex interaction among factors that affect engagement and outcomes.
RESUMO
Program evaluation is a common practice in nursing education programs; however, evidence indicates that many schools only focus on program evaluation around the scheduled accreditation period, thus reducing the potential value of the evaluation. This systematic review explores the current program evaluation practices of prelicensure baccalaureate nursing programs. ERIC, CINAHL, and Scopus databases were searched to locate original research articles published in English. Twenty articles met the inclusion criteria. The purposes of the evaluated studies varied from needing to meet external accountability requirements to proposing conceptual frameworks and evaluation tools. However, most studies focused on summative evaluation assessing program products and on providing evidence of program evaluation based on descriptive data. Notably, few studies employed a rigorous method to evaluate and interpret program evaluation findings. Most studies solicited information from multiple stakeholder groups, with students being the most represented. Despite the wide range of data collection tools used in the reviewed studies, reporting of validity and reliability was limited. Student grade point average, graduation rate, NCLEX passing rate, and satisfaction with the learning experience were the most common variables. Further studies are needed to assess the effectiveness of current educational program evaluation practices in nursing education.
Assuntos
Bacharelado em Enfermagem , Estudantes de Enfermagem , Educação em Enfermagem , Avaliação Educacional , Humanos , Aprendizagem , Avaliação de Programas e Projetos de Saúde , Reprodutibilidade dos Testes , EstudantesRESUMO
Abstract Training, Development, and Education assessments have intensified in recent decades, and empirical evidence proves their effectiveness in organizational outcomes. However, the literature shows little research on the results of training in cooperative organizations. This study aimed to evaluate a training program for credit union counselors based on Training, Development, and Education evaluation models associated with logical models. This is an empirical study with a qualitative design. Data collection was performed through an analysis of 229 documents, three semi-structured individual interviews, and a focus group. The results of the research corroborate findings related to the usefulness of the integrated use of systemic evaluation approaches and indicate that these models apply to the context of cooperative training. This study fills a methodological gap in the field of instructional psychology in third sector organizations.
Resumo As avaliações de Treinamento, Desenvolvimento e Educação têm se intensificado nas últimas décadas, e evidências empíricas comprovam a eficácia delas nos resultados organizacionais. No entanto, a literatura evidencia poucas pesquisas sobre os resultados de treinamentos em organizações cooperativas. Este estudo teve por objetivo avaliar um programa de treinamento para conselheiros de cooperativas de crédito a partir de modelos de avaliação em Treinamento, Desenvolvimento e Educação associados a modelos lógicos. Trata-se de um estudo empírico com delineamento qualitativo. A coleta de dados foi realizada por meio de análise de 229 documentos, três entrevistas individuais semiestruturadas e grupo focal. Os resultados da pesquisa corroboram achados relacionados à utilidade do uso integrado de abordagens sistêmicas de avaliação e indicam que esses modelos são aplicáveis ao contexto de treinamentos de cooperativas. Uma das contribuições deste estudo foi suprir uma lacuna metodológica no campo da psicologia instrucional em organizações do terceiro setor.
Resumen Durante las últimas décadas, las evaluaciones de capacitación, desarrollo y educación se han intensificado, y la evidencia empírica demuestra su eficacia en los resultados de la organización. Sin embargo, la literatura muestra poca investigación sobre los resultados de la capacitación en cooperativas. Este estudio tuvo como objetivo evaluar un programa de capacitación para consejeros de cooperativas de crédito con base en modelos de evaluación asociados a modelos lógicos. Se trata de un estudio empírico cualitativo. La recopilación de datos se realizó mediante el análisis de 229 documentos, tres entrevistas semiestructuradas y un grupo focal. Los resultados de la investigación corroboran los hallazgos relacionados con la utilidad del uso integrado de enfoques de evaluación sistémica e indican que estos modelos son aplicables al contexto de cooperativa. Una de las contribuciones de este estudio ha sido la de llenar la laguna metodológica en el campo de la psicología instructiva en organizaciones del tercer sector.
Assuntos
Efetividade , Grupos Focais , Educação , Tutoria , ConselheirosRESUMO
O objetivo deste trabalho foi verificar a aprendizagem de habilidades de docentes de sala comum para realizar adequação curricular a partir de um curso de formação continuada. Para tanto, foi elaborado um roteiro que decompôs a habilidade de realizar adaptação em seis itens, a saber, identificar as necessidades de adaptação do aluno, descrever o conteúdo específico da disciplina ministrada, descrever os objetivos, descrever a atividade, descrever estratégias para viabilizar sua execução e indicar critérios de desempenho, de modo que pudessem ser medidas as habilidades das professoras antes e depois do curso. Participaram do curso oito professoras de sala comum, de disciplinas variadas, e sem conhecimentos prévios sobre adequação curricular. O curso ocorreu em cinco encontros semanais, nos horários dos ATPC da equipe. Os encontros se dividiram em coleta de pré-formação, conceitos sobre avaliação, organização da proposta de avaliação, conceitos de adaptação e coleta de pós-formação. Os resultados indicaram que o curso foi eficiente para que as professoras aprendessem algumas habilidades para elaborar adequação curricular para os alunos indicados pela escola, mas não foi suficiente para desenvolver as mesmas seis habilidades em todos; por exemplo, antes do curso seis das oito professoras apresentaram menos de 50% das habilidades indicadas e, após, metade do grupo atingiu 80% delas. Discussões e limitações dos procedimentos são apresentados.
The present work aimed to evaluate regular classroom teachers' abilities to adapt activities for curricular adaptation based on a continued education course. To achieve that, a script was created breaking down the hability to perform adaptation into six items: identify the student's adaptation needs; describe the course's specific content; describe its goals; describe the activity; describe the strategies used to allow its execution; and point out performance criteria. This logic was designed to enable the measurement of the teachers' skills before and after the course. There were eight regular classroom teachers from different school subjects with no previous knowledge on curricular adaptation. The course took place weekly during five educators' meetings. These meetings were divided in pre-course data collection, assessment concepts, assessment proposals organization, adaptation concepts, and after-course data collection. The results indicated that the course was efficient for teachers to learn some curricular adaptation skills according to the targeted students' needs highlighted by the school, but not enough to develop the complete set of skills in all participants. For example, before the course six out of eight teachers showed less them 50% of the desired skills and, after that, half the group achieved 80% of them. Procedures discussion and limitations are presented.
El objetivo de este trabajo fue verificar el aprendizaje de habilidades de profesores de sala común para realizar adecuación curricular a partir de un curso de formación continuada. Para ello se elaboró un itinerario en lo cual se ha descompuesto la habilidad de realizar adaptación en seis ítems, a saber: identificar las necesidades de adaptación del alumno; describir el contenido específico de la disciplina ministrada; describir los objetivos; describir la actividad; describir estrategias para viabilizar su actividad y el establecimiento de criterios de desempeño, de modo que se podría medir las habilidades de las profesoras antes y después del curso. Participaron del curso ocho profesoras de sala común, de disciplinas variadas, y sin conocimientos previos sobre adecuación curricular. El curso se realizó en cinco encuentros semanales, en los horarios de las reuniones pedagógicas del equipo. Los encuentros se dividieron en colecta de pre-formación, conceptos sobre evaluación, organización de la propuesta de evaluación, conceptos de adaptación y recolección de post-formación. Los resultados indicaron que el curso fue eficiente para enseñar algunas habilidades para realizar adecuación curricular para los alumnos indicados por la escuela, pero no fue suficiente para desarrollar las mismas seis habilidades en todos. Por ejemplo, antes del curso seis de las ocho profesoras presentaron menos del 50% de las habilidades indicadas, y después, la mitad del grupo alcanzó el 80% de ellas. Las discusiones y las limitaciones de los procedimientos son presentadas.
Assuntos
Currículo , Educação Continuada , Professores Escolares , EnsinoRESUMO
Resumo Investigaram-se medidas de eficiência (razão entre acertos e tempo de solução) e erro (diferença entre a resposta emitida e a resposta correta) com estudantes do Ensino Fundamental. O Experimento 1 compreendeu pré-teste, ensino de equivalência entre diferentes formas de apresentação de problemas, pós-teste 1, ensino do algoritmo de adição, pós-teste 2, ensino do algoritmo de subtração, pós-teste 3 e teste de generalização. O Experimento 2 foi semelhante ao anterior até o pós-teste 1, seguido de treino de solução de problemas na forma de balança, pós-teste 2, teste de generalização 1, ensino dos algoritmos de adição e subtração, pós-teste e teste de generalização 2. Medir eficiência e erro contribui para a avaliação da eficácia de programas de ensino de solução de problemas.
Abstract We investigated measures of efficiency (ratio of correct responses and resolution time) and error (distance between emitted response and the correct response) in a group of Elementary School students. Experiment 1 comprised pre-test, teaching of equivalence between different forms of problem presentation, post-test 1, teaching of addition algorithm, post-test 2, teaching of subtraction algorithm, post-test 3, and generalization test. Experiment 2 was similar to Experiment 1 until post-test 1, followed by training of scale problem-solving, post-test 2, generalization test 1, teaching of addition and subtraction algorithms, post-test 3, and generalization test 2. The results of this study suggest that measuring efficiency and error contribute to evaluate the effectiveness of educational programs in teaching problem solving.
RESUMO
Creativity and its promotion are widespread concerns in education. However, few efforts have been made to implement intervention programs designed to promote creativity and other related aspects (e.g., academic motivation). The Future Problem Solving Program International (FPSPI), aimed for training creativity representations and creative problem solving skills in young people, has been one of the most implemented programs. This intervention's materials and activities were adapted for Portuguese students, and a longitudinal study was conducted. The program was implemented during four months, in weekly sessions, by thirteen teachers. Teachers received previous training for the program and during the program's implementation. Intervention participants included 77 Basic and Secondary Education students, and control participants included 78 equivalent students. Pretest-posttest measures of academic motivation and creativity representations were collected. Results suggest a significant increase, in the intervention group, in motivation and the appropriate representations of creativity. Practical implications and future research perspectives are presented.
A criatividade e sua promoção geram grande preocupação em educação. Contudo, poucos esforços têm existido para implementar programas destinados a sua promoção e de outros aspetos relacionados (e.g., motivação acadêmica). O Future Problem Solving Program International(FPSPI), criado para melhorar as representações de criatividade e a resolução criativa de problemas em jovens, tem sido um dos mais implementados. Os seus materiais e atividades foram adaptados para estudantes portugueses, efetuando-se um estudo longitudinal. O programa foi implementado durante quatro meses, semanalmente, por treze professores, que receberam formação antes e durante a implementação. O grupo experimental incluiu 77 estudantes do Ensino Básico e Secundário, apresentando o grupo de controlo 78 estudantes com características equivalentes. Os dados sobre a motivação e criatividade foram recolhidos num pré e pós-teste. Os resultados sugerem um aumento significativo na motivação e crenças apropriadas de criatividade no grupo experimental. Implicações práticas e perspectivas para investigações futuras são apresentadas.
La creatividad y su promoción generan gran preocupación en educación. Sin embargo, han sido llevados a cabo pocos esfuerzos para implementar programas de promoción de la creatividad y otros aspectos (e.g., motivación académica). El Future Problem Solving Program International (FPSPI), creado para mejorar las representaciones de creatividad y la solución creativa de problemas en jóvenes, ha sido bastante implementado. Se adaptaron sus materiales y actividades para estudiantes portugueses, y se desarrolló un estudio longitudinal. El programa se implementó semanalmente durante cuatro meses por trece profesores, que recibieron formación antes y durante la implementación. El grupo experimental incluyó 77 estudiantes de Educación Primaria y Secundaria y el grupo de control incluyó 78 estudiantes con características semejantes. Los datos de motivación y creatividad fueron recogidos en un pre y post-test, sugiriendo un aumento significativo de motivación y creencias apropiadas sobre la creatividad en el grupo experimental. Se presentan implicaciones prácticas y perspectivas para futuras investigaciones.
Assuntos
Humanos , Masculino , Feminino , Adolescente , Criatividade , Educação , MotivaçãoRESUMO
AbstractCreativity and its promotion are widespread concerns in education. However, few efforts have been made to implement intervention programs designed to promote creativity and other related aspects (e.g., academic motivation). The Future Problem Solving Program International (FPSPI), aimed for training creativity representations and creative problem solving skills in young people, has been one of the most implemented programs. This intervention's materials and activities were adapted for Portuguese students, and a longitudinal study was conducted. The program was implemented during four months, in weekly sessions, by thirteen teachers. Teachers received previous training for the program and during the program's implementation. Intervention participants included 77 Basic and Secondary Education students, and control participants included 78 equivalent students. Pretest-posttest measures of academic motivation and creativity representations were collected. Results suggest a significant increase, in the intervention group, in motivation and the appropriate representations of creativity. Practical implications and future research perspectives are presented.(AU)
ResumoA criatividade e sua promoção geram grande preocupação em educação. Contudo, poucos esforços têm existido para implementar programas destinados a sua promoção e de outros aspetos relacionados (e.g., motivação acadêmica). O Future Problem Solving Program International(FPSPI), criado para melhorar as representações de criatividade e a resolução criativa de problemas em jovens, tem sido um dos mais implementados. Os seus materiais e atividades foram adaptados para estudantes portugueses, efetuando-se um estudo longitudinal. O programa foi implementado durante quatro meses, semanalmente, por treze professores, que receberam formação antes e durante a implementação. O grupo experimental incluiu 77 estudantes do Ensino Básico e Secundário, apresentando o grupo de controlo 78 estudantes com características equivalentes. Os dados sobre a motivação e criatividade foram recolhidos num pré e pós-teste. Os resultados sugerem um aumento significativo na motivação e crenças apropriadas de criatividade no grupo experimental. Implicações práticas e perspectivas para investigações futuras são apresentadas.(AU)
ResumenLa creatividad y su promoción generan gran preocupación en educación. Sin embargo, han sido llevados a cabo pocos esfuerzos para implementar programas de promoción de la creatividad y otros aspectos (e.g., motivación académica). El Future Problem Solving Program International (FPSPI), creado para mejorar las representaciones de creatividad y la solución creativa de problemas en jóvenes, ha sido bastante implementado. Se adaptaron sus materiales y actividades para estudiantes portugueses, y se desarrolló un estudio longitudinal. El programa se implementó semanalmente durante cuatro meses por trece profesores, que recibieron formación antes y durante la implementación. El grupo experimental incluyó 77 estudiantes de Educación Primaria y Secundaria y el grupo de control incluyó 78 estudiantes con características semejantes. Los datos de motivación y creatividad fueron recogidos en un pre y post-test, sugiriendo un aumento significativo de motivación y creencias apropiadas sobre la creatividad en el grupo experimental. Se presentan implicaciones prácticas y perspectivas para futuras investigaciones.(AU)
Assuntos
Humanos , Masculino , Feminino , Adolescente , Criatividade , Motivação , EducaçãoRESUMO
O curso de Medicina da Universidade Estadual de Londrina (UEL) desenvolveu sua proposta de avaliação institucional, contextualizada no panorama nacional e na realidade regional, e a partir de 2003 implantou o Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)Õ, cujos princípios se encontram em consonância com o Sistema Nacional de Avaliação da Educação Superior proposto pelo MEC/Inep. O SIAMedÕ engloba o conjunto das dimensões que compõem o curso, envolve todos os que participam do processo deformação do médico e é composto por três fases de desenvolvimento: avaliação interna, avaliação externa e reavaliação. Os resultados possibilitaram identificar as potencialidades efragilidades do curso, as quais foram amplamente discutidas e aprovadas pela comunidade interna. Posteriormente, foram traduzidas em propostas de ação que passaram a integrar os Planos de Ação da Comissão Executiva e das Comissões de Apoio do Colegiado para o biênio subseqüente (2006-2008), fortalecendo o processo de mudança vivenciado pelo curso.
The undergraduate medical course of the State University of Londrina elaborated a proposal for institutional evaluation in the context of the national panorama and of the reality of the region, which was implanted in 2003. The Integrated Evaluation System (SIAMed) analyzes all components of the curriculum and was carried out in three phases: internal evaluation, external evaluation and re-evaluation. These three phases took place from 2003 to 2005. The results allowed identifying the positive and negative aspects of the course, which were discussed with all people involved. As a consequence, new solutions for the identified problems were proposed and approved, and will be implemented in 2006-2008. The evaluation process contributed to consolidating the integrated medical course of the State University of Londrina.