Guía de elaboración de preguntas de examen múltiple choice

Esta guía es un instrumento para la elaboración de preguntas de opción múltiple. Se trata de un documento para orientar la tarea de construcción de los exámenes de ingreso al Sistema de Residencias del Sistema de Salud del Gobierno de la Ciudad Autónoma de Buenos Aires. Este examen tiene como función principal permitir la confección de un ranking u orden de mérito de postulantes en base a su nivel de conocimientos disciplinares y transversales a todas la profesiones que se desarrollan en el sistema sanitario. La confiabilidad del examen como instrumento evaluador y ordenador depende de la calidad de las preguntas que se utilicen. Preguntas "demasiado fáciles" o, por el contrario, "muy difíciles", discriminan deficientemente entre un mayor y menor nivel de conocimientos. A fin de aportar a la confiabilidad y calidad del examen, esta guía presenta pautas de armado de las preguntas que se consideran son puntos clave para construir un producto de calidad que aporte a cumplir con la función del examen de ingreso al Sistema de formación en servicio. (AU)

Faculty perceptions on objective structured clinical exam in dental education / Percepción de los profesores sobre el examen clínico estructurado y su objetivo en la educación dental

Abstract Structured Clinical Exam (OSCE) uses standardized content and procedures to assess students across multiple domains of learning. The study is aimed to assess knowledge, attitudes, practices and observations of dental faculty on OSCE. The survey was distributed into dental faculty members in randomly selected government and private institutions in Saudi Arabia. The questionnaire was pre-tested and consisted of 4 categories including general characteristics of respondents, knowledge on utility of OSCE in curriculum and its reliability, attitudes regarding OSCE on a 5 point Likert scale, practices and observations on OSCE on Multiple choice questions (both single answer and multiple answer) and responses on a 5 point Likert scale. The sample size was determined to be 93 and the survey was sent electronically to 10 institutes. 101 complete responses from 7 institutions were considered from the 122 received. Faculty participation in OSCE was high within evaluators 94% (n=94) and administrators 61% (n=61). Majority of respondents (62%) believed that OSCE is most suited for competency based education, to assess cognitive skills (73%) and diagnostic interpretation (79%). Reliability of OSCE can be increased by standardization of evaluators (77%) with highest number believing that 6-8 stations (42%) are the minimum required in an OSCE. Institution guidelines (49%) coupled with workshops (47%) was the preferred method of preparation for OSCE. Majority felt that OSCE is most suitable for high stakes exams (mean=3.37) and it is an indispensable part of dental assessment (mean=3.78). Minimum number of stations for adequate reliability was reported to be lesser that in reported literature, specially so for high stakes assessments. Logistics required for arranging an OSCE and difficulty in standardized patients, may suggest that OSCE should be used in select situations.

Resumen El examen clínico estructurado (ECOE) utiliza contenido y procedimientos estandarizados para evaluar a los estudiantes en múltiples dominios de aprendizaje. Este estudio tiene como objetivo evaluar los conocimientos, las actitudes, las prácticas y las observaciones de los profesores de odontología sobre la ECOE. La encuesta se distribuyó a los miembros de la facultad de odontología en instituciones gubernamentales y privadas seleccionadas al azar en Arabia Saudita. El cuestionario se utilizó previamente y constaba de 4 categorías que incluían generalidades de los encuestados, conocimiento sobre la utilidad de la ECOE en el plan de estudios y su confiabilidad, actitudes con respecto a la ECOE en una escala Likert de 5 puntos, prácticas y observaciones sobre la ECOE en preguntas de opción múltiple (ambas respuesta y respuesta múltiple) y respuestas en una escala Likert de 5 puntos. Se determinó el tamaño de la muestra en 93 y la encuesta se envió electrónicamente a 10 institutos. Se consideraron 101 respuestas completas de 7 instituciones. La participación del profesorado en ECOE fue alta entre los evaluadores 94% (n=94) y los administradores 61% (n=61). La mayoría de los encuestados (62%) cree que la ECOE es más adecuada para la educación basada en competencias, para evaluar las habilidades cognitivas (73%) y la interpretación del diagnóstico (79%). La confiabilidad de la ECOE puede aumentarse mediante la estandarización de los evaluadores (77%) y el número más alto cree que 6-8 estaciones (42%) son el mínimo requerido en una ECOE. Las directrices de la institución (49%) junto con los talleres (47%) fue el método preferido de preparación para la ECOE. La mayoría consideró que la ECOE es más adecuada para exámenes de alto riesgo (media=3,37) y es una parte indispensable de la evaluación dental (media=3,78).Se informó que el número mínimo de estaciones para una confiabilidad adecuada es menor que en la literatura reportada, especialmente para evaluaciones de alto riesgo. La logística necesaria para organizar un ECOE y la dificultad en los pacientes estandarizados pueden sugerir que el ECOE se debe utilizar en situaciones seleccionadas.

Posicionamiento conceptual metodológico para el examen estatal en anatomía humana / A conceptual-methodological stance for the state examination of human anatomy

Introducción: El examen estatal en las especialidades médicas cubanas es un garante de calidad en las competencias y el desempeño profesional. Su calidad técnica y metodológica debe ser objeto de perfeccionamiento permanente como acción responsable hacia la excelencia académica. Objetivo: Promover un posicionamiento conceptual metodológico para el perfeccionamiento del examen teórico práctico de la especialidad anatomía humana. Métodos: Se emplearon el analítico sintético, la observación participativa y la revisión documental. Resultados: Se obtuvo una propuesta valorativa en el contexto de la especialización en anatomía humana, con acciones específicas para el perfeccionamiento del examen práctico y teórico de esta especialidad. Conclusiones: Los fundamentos teóricos y prácticos presentados son pertinentes para superar debilidades en los exámenes estatales anteriores, y favorecer en el residente de anatomía humana el desarrollo de un pensamiento holístico durante su proceso de formación, con beneficio de mayores competencias y mejor desempeño docente e investigativo(AU)

Introduction: The state examination in Cuban medical specialties ensure quality in competences and professional performance. Its technical and methodological quality should be subjected to permanent improvement as a responsible action towards academic excellence. Objective: To promote a conceptual-methodological stance for the improvement of the practical-theoretical examination of the Human Anatomy specialty. Methods: The methods of analysis-synthesis, participative observation and documental review were used. Results: An assessment proposal was obtained in the context of the specialization in Human Anatomy, with specific actions for the improvement of the practical and theoretical examination of this specialty. Conclusions: The theoretical and practical foundations presented are pertinent to overcome weaknesses of previous state examinations, as well as to favor, in the Human Anatomy resident, the development of a holistic thinking during her or his training process, with the benefit of greater competences and better teaching and research performance(AU)

Dificultad y discriminación del examen de Ontogenia Humana y SOMA en la carrera de medicina / Difficulty and discrimination of the Human Ontogeny and Osteomioarticular System Exam in the medical major

Introducción: La evaluación es la categoría reguladora del proceso de enseñanza-aprendizaje. Los instrumentos evaluativos utilizados para tal propósito deben reunir los criterios mínimos de calidad. Objetivo: Evaluar la dificultad y discriminación del examen de la asignatura Ontogenia Humana y SOMA de la carrera de medicina en la Facultad de Ciencias Médicas de Matanzas en tres cursos académicos. Métodos: Se realizó un estudio de investigación descriptivo transversal en el marco de la educación médica, para describir la estructura del examen de la asignatura Ontogenia Humana y SOMA, en la Facultad de Ciencias Médicas de Matanzas, en los cursos 2016-2017, 2017-2018 y 2018-2019; y determinar la frecuencia de errores, y el nivel de dificultad y el poder de discriminación de estos. Resultados: En el examen aplicado en los tres cursos predominaron las preguntas tipo ensayo. La frecuencia de errores fue media, baja y alta, respectivamente. Los exámenes presentaron dificultad media y excelente poder de discriminación. Conclusiones: Los indicadores de calidad estudiados alcanzaron valores satisfactorios para el examen de la asignatura Ontogenia Humana y SOMA en la Facultad de Ciencias Médicas de Matanzas en los cursos académicos estudiados(AU)

Introduction: Evaluation is the regulatory category of the teaching-learning process. The evaluative instruments must meet the minimum quality criteria. Objective: To assess the difficulty and discrimination of the exam of the Human Ontogeny and Osteomioarticular System subject of the medical major in the School of Medical Sciences of Matanzas during three academic years. Methods: A descriptive and cross-sectional research was carried out in the framework of medical education, in order to describe the structure of the exam of the Human Ontogeny and Osteomioarticular System subject, in the School of Medical Sciences of Matanzas, in the academic years 2016-2017, 2017-2018 and 2018-2019; as well as to determine the frequency of errors, together with their level of difficulty and power of discrimination. Results: In the exam applied during the three academic years, essay-type questions predominated. The frequency of errors per year was medium, low and high, respectively. The exams presented medium difficulty and excellent power of discrimination. Conclusions: The studied quality indicators obtained satisfactory values for the exam of the Human Ontogeny and Osteomioarticular System subject in the School of Medical Sciences of Matanzas during the studied academic courses(AU)

Aplicación de la teoría clásica de test a la evaluación de preguntas de opción múltiple / Applying the classical test theory to evaluation in multiple-choice questions

Introducción: La evaluación de la educación tiene funciones instructivas y educativas. Además de la acreditación de los conocimientos adquiridos por los estudiantes, sus propósitos incluyen la obtención de información del nivel del aprendizaje individual y grupal de los educandos. Para alcanzar estos objetivos es importante evaluar la calidad y validez de los instrumentos evaluativos utilizados. La psicometría investiga cómo evaluar los constructos y atributos del aprendizaje de los estudiantes y posibilita analizar la validez de los cuestionarios empleados para la evaluación educativa, a través de la aplicación de instrumentos como la teoría clásica de los test y la teoría de respuesta al ítem. Objetivo: Determinar la validez de las preguntas de opción múltiple y de los ítems de un examen final, mediante el cálculo de los índices de la teoría clásica de test. Métodos: Se realizó un estudio analítico de corte transversal con la finalidad de evaluar la calidad y validez de las preguntas de opción múltiple del examen final ordinario de la asignatura Propedéutica Clínica del curso 2018-2019, mediante la evaluación de los reactivos según la teoría clásica de test. Resultados: La frecuencia relativa de la respuesta de los ítems fue adecuada para un examen final de asignatura. El 75 por ciento de los ítems del examen resultaron correctamente confeccionados. El 87,5 por ciento de los reactivos presentó un adecuado índice de discriminación. Conclusiones: Los reactivos evaluados tuvieron una calidad aceptable para una prueba de certificación, como el examen final de una asignatura; aunque se detectaron deficiencias menores(AU)

Introduction: Evaluation in education has instructive and educational functions. Apart from accreditation of knowledge acquired by the students, its purposes include obtaining information on the level of individual and group learning among students. To achieve these objectives, it is important to assess the quality and validity of the evaluation instruments used. Psychometrics investigates how to assess constructs and attributes of student learning and makes it possible to analyze the validity of the questionnaires used for evaluation in education, through the application of instruments such as the classical test theory and the item response theory. Objective: To determine the validity of multiple-choice questions and the items of a final exam, by calculating the indices of the classical test theory. Methods: A cross-sectional and analytical study was carried out with the purpose of assessing the quality and validity of the multiple-choice questions of the ordinary final exam of the Clinical Propaedeutics subject during the 2018-2019 academic year, by assessing the reagents according to the classical test theory. Results: The relative frequency of the items response was adequate for a final exam of the subject. 75percent of the exam items were correctly made. 87.5 percent of the reagents presented an adequate discrimination index. Conclusions: The reagents assessed had an acceptable quality for a certification test, such as the final exam of a subject; although minor deficiencies were detected(AU)

Questions and answers / Preguntas y respuestas

According to Professor Alejandro Jadad in his article "Toward the 'next normal': An opportunity to unlearn and reflect about life, death, and our mental health during the pandemic," 1 Which of the following feelings is perhaps the most important source of unhappiness at the end of life?

Según el profesor Alejandro Jadad en su artículo "Hacia la 'próxima normalidad': una oportunidad para desaprender y reflexionar sobre la vida, la muerte y nuestra salud mental durante la pandemia" 1 ¿Cuál de los siguientes sentimientos es quizás la fuente más importante? de la infelicidad al final de la vida?

Estratégias de aprendizagem para preparação em vestibular: eficácia de um treinamento de estratégias metacognitivas com alunos do último ano do ensino médio / Learning strategies for "vestibular" preparation: effectiveness of a metacognitive strategy training with high school seniors

A utilização de estratégias de aprendizagem apresenta-se como uma ferramenta importante para os aprendizes em diversos âmbitos, como no desenvolvimento de competências em leitura e funções executivas. O objetivo deste estudo foi avaliar a eficácia de um programa de estratégias de aprendizagem aplicado a alunos do último ano do ensino médio através de simulados de vestibular. Tratou-se de uma pesquisa quasi-experimental, em que participaram dois grupos, um grupo experimental, submetido ao treinamento, com 19 participantes, e um grupo controle com 22 participantes. Avaliou-se a eficácia do programa de treinamento através do comparativo dos grupos em dois instrumentos de medida, um questionário sobre hábitos de estudo e estratégias utilizadas ao estudar, e dois simulados de vestibular, um aplicado antes do treinamento e outro depois dele. O grupo experimental apresentou maior número de estratégias metacognitivas de organização e planejamento dos estudos, após o treinamento em comparação com o grupo controle. Não houve diferença significativa nas medidas pré e pós-teste em relação ao número médio de acertos nos simulados de vestibular, motivação e hábitos de estudo. O treinamento se mostrou eficaz na ampliação de recursos metacognitivos dos sujeitos do grupo experimental, porém, não se observou diferença entre os grupos nas medidas de avaliação de desempenho nos simulados de vestibular.

The use of learning strategies presents itself as an important tool for apprentices in various fields, such as the development of skills in reading and metacognitive control. The objective of this study was to evaluate the effectiveness of a learning strategies training program applied to students ofthe last year of high school through "vestibular" simulations. It was a quasi-experimental research, in which two groups participated, one experimental group, submitted to training, with 19 participants, and a control group with 22 participants. The efficacy of the training program was evaluated by comparing the groups in two measuring instruments, a questionnaire on study habits and strategies used while studying and two "vestibular" simulations, one applied before the training program e another after the training. The experimental group presented a greater number of metacognitive strategies of study organization and planning after the training in comparison with the control group. There were no significant differences in the pre and post-test measures in relation to the average number of correct answers in the simulated vestibular, motivation and study habits. The training was effective in increasing the metacognitive resources of the experimental group subjects, but there were no differences observed between the groups in the measures of performance evaluation in the simulated vestibular.

A educação física no ensino médio e os exames estandardizados: uma análise das questões do enem / La educación física en la enseñanza secundaria y los exámenes estandarizados: un análisis de las preguntas del enem / Physical education in high school and standardized exams: an analysis of the issues in enem

Resumo O artigo analisa as questões do novo Enem que apresentam objetos de conhecimento da Educação Física, compreendendo as relações que se estabelecem por e entre as áreas do conhecimento mediadas pelas competências e habilidades. De natureza qualitativa, utiliza a análise crítico-documental como metodologia. As fontes são compostas por: 49 questões relacionadas com a Educação Física no exame (2009 a 2017), as Diretrizes Nacionais para o Ensino Médio, o Documento Básico do Enem e a Matriz de Referência do Enem. Os usos e apropriações dos objetos de conhecimento da Educação Física, devido à sua natureza multidisciplinar, favorecem a exigência da elaboração das questões do exame visando à interdisciplinaridade por e entre as áreas do conhecimento, explorando as relações cotidianas dos sujeitos. A interação entre os objetivos da área de Linguagens e suas Tecnologias, promovida pelo exame, permite-nos compreender a Educação Física dentro de um contexto amplo de formação, para além do saberes de domínio.

Resumen El estudio analiza las preguntas del Nuevo Enem (Examen Nacional de la Enseñanza Media) que presentan objetos de conocimiento de la Educación Física, abarcando las relaciones que se establecen por y entre las áreas de conocimiento mediadas por competencias y habilidades. De naturaleza cualitativa, utiliza el análisis crítico-documental como metodología. Las fuentes están compuestas por: 49 preguntas relacionadas con la Educación Física en el examen (2009 a 2017), las Directrices Nacionales para la Enseñanza Media, el Documento Básico del Enem y la Matriz de Referencia del Enem. Los usos y apropiaciones de los objetos de conocimiento de la Educación Física, por su carácter multidisciplinario, favorecen la exigencia de elaborar las preguntas del examen buscando la interdisciplinariedad por y entre las áreas de conocimiento, explorando las relaciones cotidianas de los sujetos. La interacción entre los objetivos del área de Lenguas y sus Tecnologías, impulsada por el examen, nos permite comprender la Educación Física dentro de un amplio contexto de formación, más allá de los saberes del campo.

Abstract The article analyzes the issues that contain the Physical Education present in Novo Enem, understanding the relationships established by and between the areas of knowledge mediated by competences and abilities. Of the qualitative type, it uses documentary critical analysis as a methodology. The sources are composed of: 49 questions related to Physical Education in the exam (2009 to 2017), the National Guidelines for Secondary Education, the Basic Document of Enem and the Reference Matrix of Enem. The uses and appropriations of the contents of Physical Education, due to its multidisciplinary nature, favors the requirement to elaborate the exam questions aiming at interdisciplinarity by and between the areas of knowledge, exploring the subjects' daily relationships. The interaction between the objectives of the Languages, Codes and their Technologies area, promoted by the exam, allows us to understand Physical Education within a broad context of training, in addition to domain knowledge.

Questions and answers / Preguntas y respuestas

In 2019, the Pan-American Federation of Medical Schools (Fepafem, in Spanish), signed a declaration stating that education institutions must promote dynamic, top-quality, competency-based training processes. The name of that declaration is

En 2019, la Federación Panamericana de Facultades de Medicina (Fepafem), firmó una declaración en la que establece que las instituciones educativas deben promover procesos de formación dinámicos, de calidad y basados ​​en competencias. El nombre de esa declaración es:

Impacto de diferentes modalidades de evaluación en el promedio de notas de estudiantes de Medicina: un estudio de intervención no aleatorizado / Impact of different types of evaluation on the average grade of medicine students: a non-randomized interventional study

Introducción: en el proceso de enseñanza-aprendizaje existen múltiples conflictos al momento de seleccionar el tipo de evaluación que debería aplicarse a estudiantes de Medicina. Nuestro objetivo es comparar diferencias en la media de notas de tres modalidades de examen (oral, escrito para desarrollar y preguntas de opción múltiple) para así determinar cómo estas podrían afectar el desempeño de los estudiantes de Medicina en el campo de la Farmacología. Material y métodos: estudio cuasi experimental con una intervención no aleatorizada en una muestra por conveniencia de estudiantes de Medicina. A fin de evaluar diferencias en la media de notas se hizo un análisis ANOVA para muestras pareadas y luego los correspondientes tests de T para muestras pareadas. Resultados: enrolamos inicialmente a 36 estudiantes; 7 fueron excluidos (4 por ausencia y 3 por abandono), y se obtuvieron 29 participantes. La media de notas del examen oral y la de preguntas de opción múltiple fueron ambas significativamente superiores a la del examen escrito para desarrollar (oral vs. escrito: diferencia 1,8 puntos; IC 95% 0,8 a 2,7; p < 0,01; opción múltiple vs. escrito: diferencia 2,1 puntos; IC 95% 1,4 a 2,9; p < 0,01). No hubo diferencias estadísticamente significativas entre las notas medias del examen oral y del examen de preguntas de opción múltiple (p = 0,37). Conclusión: los estudiantes de Medicina obtienen peores notas en el examen escrito para desarrollar en Farmacología, en relación con los exámenes oral y de preguntas de opción múltiple. Esto posiblemente se asocie al hecho de que aquella modalidad es menos frecuentemente empleada en la carrera de Medicina. (AU)

Introduction: in the teaching-learning process, there are many problems in the selection of the most suitable type of exam for evaluating medical students. Our target was to compare differences in the average grade of medical students upon taking three different types of exam (oral, written, and multiple-choice questions) to determine how these different types of exam may affect the performance of medical students in the area of Pharmacology. Material and methods: we conducted a quasi experimental study by applying a non-randomized intervention to a convenience sample of medical students. To evaluate differences in the average grades among three groups, an ANOVA analysis was applied followed by paired T-tests. Results: we initially enrolled 36 students; 7 were excluded (4 were absent and 3 abandoned the intervention), arriving at a total sum of 29 participants. The average grades of the oral exam and multiple-choice questions were both significantly higher than the written exam (oral vs. written: difference 1.8 points; 95%CI 0.8 to 2.7, p < 0.01; multiple-choice vs. written: difference 2.1 points, 95%CI 1.4 to 2.9, p < 0.01). There were no significant differences between the average grades on the oral exam and the multiple-choice exam (p = 0.37). Conclusion: medical students have worse grades on written exams in Pharmacology, as compared to oral and multiple-choice exams. This could possibly be associated with the fact that this type of exam is less frequently applied in Medical School. (AU)

Características de exámenes escritos, asignaturas de patología, carrera medicina, Universidad Nacional Autónoma de Honduras / Characteristics of written examinations, Pathology courses, medical career, National Autonomous University of Honduras

Los exámenes escritos como parte de la evaluación de los aprendizajes son un mecanismo regulador del proceso educativo, que permite comprobar si se adquirieronlas habilidades y destrezas planificadas. Objetivo: Determinar las características y habilidadescognitivas valoradas enlos exámenes escritos de las asignaturas de Patología, Carrera de Medicina. Material y Métodos: Estudio transversal descriptivo. La unidad de análisis consistió en exámenes escritosde la asignatura de Patología I con 49 preguntas y Patología II con 46, realizados en el primer semestre del 2017. El número de secciones fueron 14; 6 en Patología I y 8 en Patología II, con un total de 433 estudiantes. Losexámenes revisados fueron del primer y último parcial 862; 296 en Patología I y 566 en Patología II. Se revisaron 1 324 preguntas, clasificándose según habilidad cognitiva memoria, compresión, análisis y síntesis. Para el análisis de los datos se utilizaronlos programas SPSS y Excel. Resultados: En las asignaturas de Patología I y II, se aplicaron exámenes escritos unificados; se emplearon 3 tipos de reactivos; selección única 30(61%) y 30(65%); completación 15(31%) y 10(22%);enumeración 4(8%) y 6(13%), respectivamente. Las habilidades cognitivas: memoria 71(72.5%)y 74(80.5%); comprensión 22(22.5%) y 17(18.5%);1Profesor Titular II, Departamento de Psiquiatría, UNAH.2 Profesor Titular IV, Departamento de Patología, UNAH.3 Pedagoga UTES, UNAH.4 Profesor Titular I, Departamento Ciencias Morfológicas, UNAH. 5 Asistente Técnico UTES, UNAH.Autor de correspondencia: nsabillon2002@yahoo.esRecibido: 25/6/18 Aceptado: 6/11/18análisis 5( 5%) y 1(1%). El número de preguntas acertadas en las habilidades cognitivas de patología 1 fue: memoria 7 250, comprensión 2 206 y análisis 468. El porcentaje de aciertos por habilidades cognitivas, fue: 50% y 57.3% en memoria; 15.2 % y 12.2 % en comprensión; 3.2 % y 1.1% en análisis. Conclusión: En la evaluación de los aprendizajes, mediante exámenes escritos en las asignaturas de Patología, el tipo de pregunta de mayor frecuencia fue selección única yla habilidad cognitiva más evaluada y acertada fue memoria...(AU)

Estudo de conteúdos avaliados nos exames do Enade 2013 e 2016 e revalida 2015 e 2016 e sua correlação com a matriz de correspondência curricular do revalida / Study of contents assessed in Enade 2013 and 2016 and Revalida 2015 and 2016 and its correlation with the Revalida's correspondence matrix

A avaliação é essencial para a análise da qualidade da formação médica e fundamental para o desenvolvimento e aprimoramento de atividades educacionais, e deve se basear tanto em competências quanto em conteúdo. Avaliações externas dos cursos de medicina, elaboradas por órgãos regulatórios, sinalizam os conteúdos considerados como essenciais ou mais relevantes do ponto de vista destes órgãos. Portanto, identificar objetivos de aprendizagem inferidos nessas avaliações poderia ajudar Instituições de ensino e alunos a compreender o que deles se espera. O presente estudo verifica a concordância entre o conteúdo avaliado pelos exames do ENADE 2013 e 2016 e REVALIDA 2015 e 2016 e o conteúdo da Matriz de Correspondência Curricular Revalida (Matriz Revalida). Analisou-se se os conteúdos da Matriz Revalida foram avaliados pelo ENADE e REVALIDA nos anos citados, e foram comparados os conteúdos abordados nas respectivas avaliações, determinando concordâncias e discrepâncias entre as mesmas. Metodologia: Verificou-se os conteúdos específicos abordados nos exames escritos do ENADE 2013 e 2016 (dois últimos anos de aplicação da prova e posteriores à publicação da Matriz Revalida) e do REVALIDA 2015 e 2016 (dois últimos anos de aplicação da prova e posterior a 2014 quando adquiriu nova formatação), tanto dos itens de múltipla escolha quanto discursivos. Os conteúdos explorados nessas avaliações foram comparados com os da Matriz Revalida, estabelecendo-se a relação de conteúdos entre estas. Resultados: A análise dos conteúdos da Matriz REVALIDA (n=749 temas) constantes nas avaliações estudadas revelou uma abrangência inferior de conteúdos no ENADE quando comparado ao REVALIDA. Quando associados os conteúdos abordados nas 4 avaliações, foi encontrado um grande número de temas da Matriz Revalida que não foram abordados em nenhuma das provas analisadas. Conclusão: As avaliações do ENADE e do REVALIDA possuem diferente abrangência quanto à utilização dos conteúdos constantes da Matriz Revalida. A terça parte dos temas da Matriz Revalida não foram abordados nas avaliações estudadas

Assessment is essential for analyzing the quality of medical formation and fundamental to the development and improvement of educational activities, and should be based on both competencies and content. External evaluations of medical courses, prepared by regulatory bodies, indicate the contents considered essential or more relevant from the point of view of these bodies. Therefore, identifying inferred learning objectives in these assessments could help teaching institutions and students to understand what is expected from them. The present study verifies the agreement between the content evaluated by the ENADE exams 2013 and 2016 and REVALIDA 2015 and 2016 and the content of the Matrix of Curricular Correspondence Revalida (Revalida Matrix). It was analyzed if the contents of the Revalida Matrix were evaluated by ENADE and REVALIDA in the mentioned years, and the contents were compared in the respective evaluations, determining concordances and discrepancies between them. Methodology: The specific contents addressed in the written exams of ENADE 2013 and 2016 (last two years of test application and after the publication of the Revalida Matrix) and REVALIDA 2015 and 2016 (last two years of test application and after 2014 when it acquired new formatting) were verified on both multiple choice and discursive items. The contents explored in these evaluations were compared with those of the Revalida Matrix, establishing the relation of contents between them. Results: The analysis of the contents of the REVALIDA Matrix (n = 749 subjects)contained in the evaluations studied revealed a lower content range in ENADE when compared to REVALIDA. When associated the contents discussed in the 4 evaluations, it was found a large number of Revalida Matrix themes that were not addressed in any of the tests analyzed. Conclusion: The evaluations of ENADE and REVALIDA have different scope regarding the use of the contents contained in the Revalida Matrix. The third part of the Revalida Matrix themes were not addressed in the evaluations studied

Propuesta de guía de observación para el ejercicio práctico estatal de la Licenciatura en enfermería / Proposal of guide of observation for the exercise practical State of the Bachelor's degree in Nursing

Introducción: el examen práctico estatal forma parte del proceso de fundamentar el título de licenciado en enfermería en muchas universidades, este debe evaluar la adquisición de las diferentes habilidades y actitudes en correspondencia con el diseño curricular en una forma homogénea. Objetivo: diseñar una guía de observación para el ejercicio de examen práctico estatal de la carrera de Licenciatura en enfermería. Métodos: se realizó una investigación educativa de desarrollo, entre enero y agosto del 2016 en la carrera de Licenciatura en Enfermería del Instituto Superior Politécnico "Sol Naciente" de Huambo, Angola. En la primera fase fue revisada la literatura, aplicado un instrumento de recolección de datos al currículo y aplicado la técnica de grupo focal, en la segunda fase fue construida la propuesta de guía de observación y en la tercera fase está fue valorada por especialistas. En la primera y tercera fase se utilizaron herramientas de estadística descriptiva. Resultados: la mayor parte de las asignaturas contribuyen a la formación asistencial seguida por la formación en ciencias básicas y naturales con 36,2 por ciento y 21,3 por ciento respectivamente. El instrumento elaborado verifica valores, actitudes y habilidades docentes-asistenciales-administrativas. Fue valorado el instrumento por los especialistas con la condición de excelente, para los aspectos de validez, confiabilidad e integralidad de esté con el 100 por ciento, 63,6 por ciento, 81,8 por ciento respectivamente. Conclusiones: el análisis de los resultados de la consulta a especialistas hace que se concluya que el instrumento elaborado es fácil de aplicar y permite evaluar con objetividad, validez y confiabilidad las competencias profesionales adquiridas(AU)

Introduction: The state practical exam is part of the process of founding a bachelor's degree in nursing in many universities, which must evaluate the acquisition of different skills and attitudes, in accordance with the curriculum design in a homogeneous way. Objective: Design an observation guide for the exercise of state practical examination of the Bachelor in Nursing. Methodical: Held an educational development research, between January and August of 2016, in degree in nursing of the Institute Superior Polytechnic Sol Nascente in Huambo, Angola. In the first phase, the literature was revised, a data collection instrument was applied to the curriculum and the focal group technique was applied. In the second phase the proposal for an observation guide was constructed and in the third phase it was evaluated by specialists. In the first and third phase, descriptive statistics tools were used. Results: Most of the subjects contribute to classroom training followed by training in basic and natural sciences with 36.2 percent and 21.3 percent respectively. The instrument checks drawn values, attitudes and teachers-care and administrative skills. It was the instrument valued by experts with excellent condition, for aspects of validity, reliability and integrity of this with 100 percent, 63.6 percent, 81.8 percent respectively. Conclusions: The analysis of the results of the consultation of specialists makes it possible to conclude that the instrument elaborated is easy to apply and allows to evaluate with objectivity, validity and reliability the acquired professional competences(AU)

Propuesta de guía de observación para el ejercicio práctico estatal de la Licenciatura en enfermería / Proposal of guide of observation for the exercise practical State of the Bachelor's degree in Nursing

Introducción: el examen práctico estatal forma parte del proceso de fundamentar el título de licenciado en enfermería en muchas universidades, este debe evaluar la adquisición de las diferentes habilidades y actitudes en correspondencia con el diseño curricular en una forma homogénea. Objetivo: diseñar una guía de observación para el ejercicio de examen práctico estatal de la carrera de Licenciatura en enfermería. Métodos: se realizó una investigación educativa de desarrollo, entre enero y agosto del 2016 en la carrera de Licenciatura en Enfermería del Instituto Superior Politécnico "Sol Naciente" de Huambo, Angola. En la primera fase fue revisada la literatura, aplicado un instrumento de recolección de datos al currículo y aplicado la técnica de grupo focal, en la segunda fase fue construida la propuesta de guía de observación y en la tercera fase está fue valorada por especialistas. En la primera y tercera fase se utilizaron herramientas de estadística descriptiva. Resultados: la mayor parte de las asignaturas contribuyen a la formación asistencial seguida por la formación en ciencias básicas y naturales con 36,2 por ciento y 21,3 por ciento respectivamente. El instrumento elaborado verifica valores, actitudes y habilidades docentes-asistenciales-administrativas. Fue valorado el instrumento por los especialistas con la condición de excelente, para los aspectos de validez, confiabilidad e integralidad de esté con el 100 por ciento, 63,6 por ciento, 81,8 por ciento respectivamente. Conclusiones: el análisis de los resultados de la consulta a especialistas hace que se concluya que el instrumento elaborado es fácil de aplicar y permite evaluar con objetividad, validez y confiabilidad las competencias profesionales adquiridas(AU)

Introduction: The state practical exam is part of the process of founding a bachelor's degree in nursing in many universities, which must evaluate the acquisition of different skills and attitudes, in accordance with the curriculum design in a homogeneous way. Objective: Design an observation guide for the exercise of state practical examination of the Bachelor in Nursing. Methodical: Held an educational development research, between January and August of 2016, in degree in nursing of the Institute Superior Polytechnic Sol Nascente in Huambo, Angola. In the first phase, the literature was revised, a data collection instrument was applied to the curriculum and the focal group technique was applied. In the second phase the proposal for an observation guide was constructed and in the third phase it was evaluated by specialists. In the first and third phase, descriptive statistics tools were used. Results: Most of the subjects contribute to classroom training followed by training in basic and natural sciences with 36.2 percent and 21.3 percent respectively. The instrument checks drawn values, attitudes and teachers-care and administrative skills. It was the instrument valued by experts with excellent condition, for aspects of validity, reliability and integrity of this with 100 percent, 63.6 percent, 81.8 percent respectively. Conclusions: The analysis of the results of the consultation of specialists makes it possible to conclude that the instrument elaborated is easy to apply and allows to evaluate with objectivity, validity and reliability the acquired professional competences(AU)

Valoración metodológica sobre la confección de exámenes finales de la carrera de Medicina en Cienfuegos / Methodological valuation on the elaboration of final exams in Cienfuegos medicine career

Fundamento: la calidad en la confección de los temarios de exámenes es un eslabón esencial en el sistema de evaluación en ciencias médicas. Objetivo: valorar metodológicamente los temarios de exámenes finales de las asignaturas propias de la carrera de Medicina en la Facultad de Ciencias Médicas de Cienfuegos. Método: se realizó una investigación observacional, descriptiva y transversal en los cursos 2012-2013 y 2013-2014, de la Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado", en la que se incluyeron 29 asignaturas propias de la carrera de Medicina. Se utilizaron los métodos teóricos de análisis-síntesis e inducción-deducción, y la revisión documental (temarios de exámenes) como método empírico. Se revisaron dos temarios por asignatura, seleccionados al azar. Se contrastaron los objetivos y habilidades declarados en los programas con los contenidos de los exámenes. Resultados: el patrón más generalizado fue abordar un tema por pregunta, el formato más utilizado fue el de ensayo de respuestas cortas. En 49 temarios las raíces de las preguntas estaban correctamente elaboradas; en 30 de ellos la redacción de los ítems y formatos de las preguntas eran adecuadas y las escalas de calificación también. El error más frecuente fue la indicación de tareas imprecisas en preguntas de ensayo modificado. La mayoría de las interrogantes demandaban respuestas reproductivas. Conclusiones: de forma general, los temarios están confeccionados adecuadamente, aunque aún se observaron desaciertos en la elaboración de preguntas y escalas de calificación. El predominio de preguntas con respuestas reproductivas limita la validez conceptual.

Background: the quality in the elaboration of exam sets is an essential aspect in the assessment system in medical sciences. Objective: to value the final exam sets of the core subjects of the Medicine career in Cienfuegos Medical Sciences faculty according to methodology. Methods: it was carried out an observational, descriptive and cross-sectional investigation in the academic years 2012-2013 and 2013-2014, in "MD. Raúl Dorticós Torrado", Medical Sciences Faculty in which 29 core subjects of the Medicine career were included. Theoretical methods were used: analysis and synthesis and induction-deduction, and the documental review of exam sets was used as empiric method. Two exam sets were revised per subject, selected at random. The objectives and abilities declared in the syllabuses were contrasted with the contents of the exams. Results: the most widespread pattern was to approach a topic per question; the used format was that of short answers. In 49 exam sets the questions were correctly elaborated; in 30 of them the writing of the items and question formats were adequate and marking was also correct. The most frequent error was the indication of imprecise tasks in questions of modified trials. Most of the questions required a reproductive answer. Conclusions: in a general way, the exam sets were appropriately elaborated, even though, mistakes were observed in the elaboration of questions and marking. The prevalence of reproductive questions diminish the conceptual validity.

Efectos de un entrenamiento correctivo en la elaboración y fundamentación de preguntas de investigación / Effects of corrective training in the identification and development of research questions / Efeitos de um treinamento corretivo na elaboração e fundamentação de perguntas de pesquisa

Se analizaron los efectos de un entrenamiento correctivo en la identificación y elaboración de algunos elementos de artículos empíricos (enmarcados en el Análisis Experimental de la Conducta), en el que se estudiaron los efectos de la retroalimentación y las instrucciones en tareas de discriminación condicional, con el objetivo de registrar si ello promovía el ejercicio de habilidades para elaborar y fundamentar preguntas de investigación. Participaron 20 estudiantes de psicología de una universidad pública mexicana, con edades entre los 20 y 22 años, asignados al azar a dos grupos: experimental y control. Ambos grupos fueron expuestos a una Línea Base (LB), a dos fases de entrenamiento (excepto el control) y a una sesión de evaluación. En la LB y en la evaluación los participantes debían leer dos artículos experimentales y elaborar y justificar una pregunta de investigación novedosa derivada de estos. El grupo experimental fue expuesto a un entrenamiento correctivo en la identificación (ejercicio 1) y la elaboración (ejercicio 2) de diversos elementos de artículos científicos que tenían como objetivo auspiciar desempeños en niveles intrasituacional y extrasituacional, respectivamente. Los resultados mostraron que la mayoría de los participantes del grupo experimental lograron una drástica mejoría en sus puntajes de aciertos de la LB a la evaluación, y que seis de los diez participantes fueran capaces de escribir y fundamentar sus preguntas de investigación en un nivel extrasituacional, lo que no ocurrió con los del grupo control en ningún aspecto. Los datos se discuten en términos de la importancia que tiene identificar estrategias efectivas para la formación de nuevos investigadores, sobre todo en lo relativo al desarrollo de habilidades lectoescritoras.

The effects of corrective training in the identification and development of some elements of empirical articles (framed within the Experimental Analysis of Behavior) were analyzed. The impact of feedback and instructions on conditional discrimination tasks were studied with the aim of determining whether this would promote the development of skills to elaborate and substantiate research questions. Twenty psychology students from a Mexican public university aged between 20 and 22 years were randomly assigned to the experimental and control groups. Both groups were exposed to a baseline, two training phases (except the control group) and to an assessment session. During baseline and assessment, participants read two experimental articles and formulated and justified a new research question derived from them. The experimental group was exposed to a corrective training in identifying (exercise 1) and developing (exercise 2) the various elements of scientific articles that were intended to improve reading and writing technical materials at extrasituational and intrasituational levels. Results showed that for most participants in the experimental group, correct answers increased in comparison to baseline and that six of the ten participants were able to write and justify their research questions at an extrasituational level. The control group failed on both counts. Data are discussed in terms of the importance of identifying effective strategies for training new researchers, especially regarding the development of reading and writing skills.

Analisaram-se os efeitos de um treinamento corretivo na identificação e elaboração de alguns elementos de artigos empíricos (dentro da Análise Experimental da Conduta), em que se analisavam os efeitos da retroalimentação e das instruções em tarefas de discriminação condicional, com o objetivo de registrar se isso promovia o exercício de habilidades para elaborar e fundamentar perguntas de pesquisa. Participaram 20 estudantes de psicologia de uma universidade pública mexicana, com idade entre 20 e 22 anos, divididos aleatoriamente em dois grupos: experimental o controle. Ambos grupos foram expostos a uma Linha Base (LB), a duas fases de treinamento (exceto o controle) e a uma sessão de avaliação. Na LB e na avaliação os participantes deviam ler dois artigos experimentais e elaborar e justificar uma pergunta de pesquisa inovadora derivada dos mesmos. O grupo experimental foi exposto a um treinamento corretivo na identificação (exercício 1) e na elaboração (exercício 2) de diversos elementos de artigos científicos que tinham como objetivo estimular desempenhos em níveis intrasituacionais e extrasituacionais, respectivamente. Os resultados mostraram que a maioria dos participantes do grupo experimental conseguiram uma drástica melhoria em suas pontuações de acertos da LB à avaliação, e que seis dos dez participantes foram capazes de escrever e fundamentar suas perguntas de pesquisa em um nível extrasituacional, o que não aconteceu com os do grupo controle em nenhum aspecto. Os dados discutem-se em termos da importância que possuem para identificar estratégias efetivas para a formação de novos pesquisadores, sobretudo no relativo ao desenvolvimento de habilidades lecto-escritoras.

Validación del examen de grado de la carrera de Odontología / Validation of degree exam in the carrier of Dentistry

La carrera de Odontología en la Universidad San Sebastián está inserta en un currículo orientado en competencias. Por esta razón, una de las metodologías más utilizadas, desde el 1er. año de carrera, es el Aprendizaje basado en problemas, aumentando su utilización en los últimos años. Al término de la carrera, fue necesario implementar un tipo de evaluación que fuese capaz de integrar todos los conocimientos procedimentales, conceptuales y actitudinales de los alumnos, que fueran congruentes con la metodología empleada. Para este efecto se consideró el Test de triple salto (TRIPSE). Este tipo de evaluación no había sido utilizada en un examen final o de grado de una carrera del área de la salud en Chile, por lo que fue un proceso innovador. El objeto de este estudio fue determinar la validez del test de Triple Salto, como examen de grado de la carrera de Odontología y a su vez demostrar su objetividad y congruencia. Los resultados fueron determinantes para validar este tipo de evaluación, autentificando el modelo de enseñanza aprendizaje, siendo considerado como objetivo y congruente(AU)

Dentistry carrier, as a carrier of health area, in San Sebastian University, its insert in a curriculum oriented in competences. For this reason one of the most used methodologies its problem-based learning (PBL), since first year of the carrier, increasing its use in the last years. In the other hand, at final years of the carrier it was necessary to establish some type of evaluation capable of integrate all knowledge of the students, which could be procedural, conceptual or attitudinal, congruent with the methodology used. These made us to choose an instrument representative of the curriculum based on competences and based on PBL methodology for the students, and it was considered the triple jump test o Tri-Partite Problem Solving Exercise (TRIPSE), as an appropriate test for the goals previously mentioned. This type of evaluation has not been used as a final exam or degree in a carrier of the health area in Chile, this made it an innovator process. The objective of this intervention was to determine the validity of TRIPSE, as a degree exam of Dentistry carrier and at the same time demonstrate its objectivity and congruence. The results were determinants to validate this type of evaluation as a genuine alternative for the teaching and learning model, also appropriate, objective and congruent(AU)

Comprender los enunciados en un examen escrito: ¿dónde está el problema? / Understanding the statement of a written examination, what is the problem?

Muchas variables influyen en el rendimiento académico. Entre ellas, la capacidad para comprender enunciados de preguntas y problemas en los exámenes es un factor clave. No obstante, poca atención se ha focalizado en analizar los componentes de un enunciado. Este artículo da cuenta de un estudio desarrollado con el objeto de explorar la comprensión de verbos empleados frecuentemente en evaluaciones escritas. Se empleó un cuestionario de respuesta abierta, aplicado a una muestra de voluntarios, estudiantes de primer semestre de Enfermería en una universidad chilena. El cuestionario fue basado en la taxonomía de Bloom, que a pesar de su antigüedad aún es ampliamente aceptada. Como resultados principales se encontraron significados erróneos atribuidos a los verbos de niveles taxonómicos bajos. Esto da pistas sobre el problema como condicionante de bajo rendimiento académico. Los resultados dieron pie a la implementación de estrategias didácticas que apoyaran el logro de los objetivos de las asignaturas(AU)

There are many variables which affect academic performance. Amongst them, the ability to understand the meaning of questions and problems in written examinations is a crucial aspect. However, little attention has been focused on the skills to analyse problems' components. This article is an account of a research study aimed to explore students' understanding of verbs commonly used in written examinations. In doing so, we used an open-ended questionnaire in a sample of first-year nursing students of a private university, who were all volunteers. The questionnaire design reflected Bloom's taxonomy of cognitive learning, still widely accepted. The main result revealed that the meaning of verbs of the low taxonomy categories was poorly understood. This fact raised the issue of understanding problems as a key factor in low academic performance of students. The results gave rise to the implementation of didactic strategies to support the fulfilment of the learning outcomes(AU)

Apostila: Curso preparatório par ao título de especialista 2004 / Apostila: Preparatory course for the specialist title 2004

Apostila desenvolvida pela Dra. Maria do Perpétuo Socorro de Lima Carvalho em 2004, para o curso preparatório de título de Especialista, com a descrição de remédios usados para a prova de especialista em homeopatia.