Como estamos avaliando competências? Projeto de intervenção nos instrumentos avaliativos de um programa de residência medicina intensiva / How are we assessing competencies? Experience report of an intervention project in the evaluation instruments of an intensive care medicine residency program

RESUMO Introdução: O ensino baseado em competências no âmbito das residências médicas tornou evidente o descompasso dos processos de avaliação tradicionais com os objetivos educacionais dos projetos pedagógicos alinhados às matrizes de competências de cada especialidade. A matriz de competência para o Programa de Residência em Medicina Intensiva (acesso direto em três anos) foi aprovada em 2021. O objetivo deste artigo é descrever o relato de experiência de um projeto de intervenção nos instrumentos de avaliação de desempenho dos residentes no Programa em Residência em Medicina Intensiva de um hospital público universitário em São Luís, no Maranhão. Relato de experiência: Após a organização do grupo de estudo e de trabalho para a intervenção, houve a escolha do objeto "ferramentas de avaliação de competências" e a seleção do Programa de Residência de Medicina Intensiva. Inicialmente, foi aplicado um questionário a todos os médicos preceptores e residentes, com atuação no cenário da unidade de terapia intensiva (UTI), com o objetivo de aferir as percepções deles acerca do instrumento avaliativo vigente, seguindo a pergunta norteadora: "A avaliação atual atende à concepção do programa traduzido pela matriz de competência da Comissão Nacional de Residência Médica?". Discussão: Embora a maioria dos preceptores e residentes tenha considerado que os métodos de avaliação atendiam à concepção do programa, havia pontos frágeis em relação ao feedback e à avaliação de desempenho dos residentes. Como intervenção, propusemos adaptação da ferramenta existente, adequando-a aos desempenhos previstos na matriz de competências da especialidade com formalização do feedback e introdução de avaliação de desempenho em cenário real utilizando o Miniexercício Clínico Avaliativo (Mini-Cex). Conclusão: Os limites entre a avaliação e a aprendizagem são tênues. Com base em indicadores sobre a percepção de preceptores e residentes de fragilidades na avaliação utilizada de longa data, foi proposta uma intervenção de modificação dos instrumentos avaliativos com o intuito de adequar/melhorar a avaliação de competências.

ABSTRACT Introduction: Competency-based teaching in medical residencies has evidenced the mismatch between traditional assessment processes and the educational objectives of pedagogical projects aligned with the competency matrices of each specialty. The competency matrix for the Intensive Care Medicine Residency Program (3-year direct admission) was approved in 2021. The objective of this article is to describe an experience report of an intervention project in the performance assessment instruments of residents attending the Intensive Care Medicine Residency Program at a university hospital in São Luís-Maranhão. Experience Report: After organizing the study and working group for the intervention, the object "skills assessment tools" was chosen and the Intensive Care Medicine Residency Program was selected. Initially, a questionnaire was applied to all preceptors and residents working in the intensive care unit (ICU) setting with the aim of evaluating their perceptions regarding the current assessment tool, following the guiding question: does the current assessment meet the conception of the program translated by the competency matrix of the National Medical Residency Commission? Discussion: Although the majority of the preceptors and residents considered that the evaluation methods met the Program design, there were weaknesses in relation to feedback and evaluation of the residents' performance. As an intervention, we proposed adapting the existing tool, making it adequate to the performance predicted in the specialty competency matrix with formalization of feedback and introduction of performance assessment in a real scenario using the Mini Clinical Assessment Exercise (Mini-CEX). Conclusion: The boundaries between assessment and learning are blurred. Based on indicators on the perception of preceptors and residents of weaknesses in the assessment used for a long time, an intervention was proposed to modify the assessment instruments with the aim of adapting/improving the assessment of skills.

Characteristics and short-term outcomes of patients with esophageal cancer with unplanned intensive care unit admissions: a retrospective cohort study. / Características e desfechos em curto prazo de pacientes com câncer esofágico em admissões não planejadas a unidades de terapia intensiva: um estudo de coorte retrospectiva.

OBJECTIVE: To depict the clinical presentation and outcomes of a cohort of critically ill patients with esophageal cancer. METHODS: We carried out a multicenter retrospective study that included patients with esophageal cancer admitted to intensive care units with acute illness between September 2009 and December 2017. We collected the demographic and clinical characteristics of all included patients, as well as organ-support measures and hospital outcomes. We performed logistic regression analysis to identify independent factors associated with in-hospital mortality. RESULTS: Of 226 patients included in the study, 131 (58.0%) patients died before hospital discharge. Squamous cell carcinoma was more frequent than adenocarcinoma, and 124 (54.9%) patients had metastatic cancer. The main reasons for admission were sepsis/septic shock and acute respiratory failure. Mechanical ventilation (OR = 6.18; 95%CI 2.86 - 13.35) and metastatic disease (OR = 7.10; 95%CI 3.35 - 15.05) were independently associated with in-hospital mortality. CONCLUSION: In this cohort of patients with esophageal cancer admitted to intensive care units with acute illness, the in-hospital mortality rate was very high. The requirement for invasive mechanical ventilation and metastatic disease were independent prognostic factors and should be considered in discussions about the short-term outcomes of these patients.

Características e desfechos em curto prazo de pacientes com câncer esofágico em admissões não planejadas a unidades de terapia intensiva: um estudo de coorte retrospectiva / Characteristics and short-term outcomes of patients with esophageal cancer with unplanned intensive care unit admissions: a retrospective cohort study

RESUMO Objetivo: Mostrar o quadro clínico e os desfechos de uma coorte de pacientes críticos com câncer esofágico. Métodos: Conduzimos um estudo multicêntrico retrospectivo que incluiu pacientes com câncer esofágico admitidos a unidades de terapia intensiva em razão de doença aguda entre setembro de 2009 e dezembro de 2017. Colhemos os dados demográficos e as características clínicas de todos os pacientes incluídos, assim como as medidas de suporte a órgãos e os desfechos no hospital. Realizamos uma análise de regressão logística para identificar os fatores associados de forma independente com mortalidade hospitalar. Resultados: Dentre os 226 pacientes incluídos no estudo, 131 (58,0%) faleceram antes de receber alta hospitalar. O carcinoma espinocelular foi mais frequente do que o adenocarcinoma, e 124 (54,9%) pacientes tinham câncer metastático. As principais razões para admissão foram sepse/choque séptico e insuficiência respiratória aguda. Uso de ventilação mecânica (RC = 6,18; IC95% 2,86 - 13,35) e doença metastática (RC = 7,10; IC95% 3,35 - 15,05) tiveram associação independente com mortalidade hospitalar. Conclusão: Nesta coorte de pacientes com câncer esofágico admitidos à unidades de terapia intensiva em razão de doença aguda, a taxa de mortalidade hospitalar foi muito elevada. A necessidade de utilizar ventilação mecânica invasiva e a presença de doença metastática foram fatores independentes de prognóstico e devem ser levados em conta nas discussões a respeito dos desfechos destes pacientes em curto prazo.

ABSTRACT Objective: To depict the clinical presentation and outcomes of a cohort of critically ill patients with esophageal cancer. Methods: We carried out a multicenter retrospective study that included patients with esophageal cancer admitted to intensive care units with acute illness between September 2009 and December 2017. We collected the demographic and clinical characteristics of all included patients, as well as organ-support measures and hospital outcomes. We performed logistic regression analysis to identify independent factors associated with in-hospital mortality. Results: Of 226 patients included in the study, 131 (58.0%) patients died before hospital discharge. Squamous cell carcinoma was more frequent than adenocarcinoma, and 124 (54.9%) patients had metastatic cancer. The main reasons for admission were sepsis/septic shock and acute respiratory failure. Mechanical ventilation (OR = 6.18; 95%CI 2.86 - 13.35) and metastatic disease (OR = 7.10; 95%CI 3.35 - 15.05) were independently associated with in-hospital mortality. Conclusion: In this cohort of patients with esophageal cancer admitted to intensive care units with acute illness, the in-hospital mortality rate was very high. The requirement for invasive mechanical ventilation and metastatic disease were independent prognostic factors and should be considered in discussions about the short-term outcomes of these patients.

Quality assessment of adult intensive care services: application of a tool adjusted to the reality of low-income countries. / Avaliação da qualidade de serviços de medicina intensiva adulto: aplicação de ferramenta ajustada à realidade de países de baixa renda.

OBJECTIVE: To assess the quality of adult intensive care units. METHODS: This population-based, cross-sectional, observational, analytical study evaluated management type in Maranhão, Brazil. An assessment instrument was applied that assigned scores to each service (maximum 124 points). The units were categorized as insufficient (< 50% of the maximum score), typical (≥ 50% and <80% of the maximum score), or sufficient (≥ 80% of the maximum score). RESULTS: Of the 26 intensive care units in Maranhão, 23 were evaluated; 15 (65.2%) were located in the state capital, and 14 (60.9%) were public. The mean final score was 67.2 (54.2% of the maximum). The worst performance was observed with regard to processes (50.9%) in the units located outside the capital (p = 0.037) and for hospitals with 68 beds or fewer (p = 0.027). The result of the assessment categorized services as a function of the overall total points earned. Specifically, 8 (34.8%) services were assessed as insufficient, 13 (56.5%) were assessed as typical, and 2 (8.7%) were assessed as sufficient. CONCLUSION: The majority of the intensive care units in this study were assessed as typical. These services must be better qualified. The priorities are the processes of the units located outside the capital and in small hospitals.

OBJETIVO: Avaliar a qualidade de unidades de terapia intensiva adulto. MÉTODOS: Estudo populacional, transversal, observacional, analítico, do tipo avaliação para gestão, no Estado do Maranhão. Um instrumento de avaliação foi aplicado, atribuindo pontuações para cada serviço (máximo 124). As unidades foram categorizadas como insuficientes (< 50% da pontuação máxima), regulares (≥ 50% e < 80% da pontuação máxima) ou suficientes (≥ 80% da pontuação máxima). RESULTADOS: Das 26 unidades de terapia intensiva do Estado, 23 foram avaliadas; 15 (65,2%) estavam localizadas na capital, e 14 (60,9%) eram públicas. A pontuação final média foi de 67,2 (54,2% do máximo possível). O pior desempenho ocorreu nos processos (50,9%), nas unidades fora da capital (p = 0,037) e em hospitais com número de leitos ≤ 68 (p = 0,027). O resultado da avaliação consistiu na categorização dos serviços em função do total geral de pontos alcançados, a saber: 8 (34,8%) serviços receberam avaliação insuficiente, 13 (56,5%) regular e 2 (8,7%) suficiente. CONCLUSÃO: A maioria das unidades do estudo recebeu avaliação regular. Tais serviços necessitam ser melhor qualificados. As prioridades são os processos de unidades localizadas fora da capital e em hospitais de pequeno porte.

Avaliação da qualidade de serviços de medicina intensiva adulto: aplicação de ferramenta ajustada à realidade de países de baixa renda / Quality assessment of adult intensive care services: application of a tool adjusted to the reality of low-income countries

RESUMO Objetivo: Avaliar a qualidade de unidades de terapia intensiva adulto. Métodos: Estudo populacional, transversal, observacional, analítico, do tipo avaliação para gestão, no Estado do Maranhão. Um instrumento de avaliação foi aplicado, atribuindo pontuações para cada serviço (máximo 124). As unidades foram categorizadas como insuficientes (< 50% da pontuação máxima), regulares (≥ 50% e < 80% da pontuação máxima) ou suficientes (≥ 80% da pontuação máxima). Resultados: Das 26 unidades de terapia intensiva do Estado, 23 foram avaliadas; 15 (65,2%) estavam localizadas na capital, e 14 (60,9%) eram públicas. A pontuação final média foi de 67,2 (54,2% do máximo possível). O pior desempenho ocorreu nos processos (50,9%), nas unidades fora da capital (p = 0,037) e em hospitais com número de leitos ≤ 68 (p = 0,027). O resultado da avaliação consistiu na categorização dos serviços em função do total geral de pontos alcançados, a saber: 8 (34,8%) serviços receberam avaliação insuficiente, 13 (56,5%) regular e 2 (8,7%) suficiente. Conclusão: A maioria das unidades do estudo recebeu avaliação regular. Tais serviços necessitam ser melhor qualificados. As prioridades são os processos de unidades localizadas fora da capital e em hospitais de pequeno porte.

ABSTRACT Objective: To assess the quality of adult intensive care units. Methods: This population-based, cross-sectional, observational, analytical study evaluated management type in Maranhão, Brazil. An assessment instrument was applied that assigned scores to each service (maximum 124 points). The units were categorized as insufficient (< 50% of the maximum score), typical (≥ 50% and <80% of the maximum score), or sufficient (≥ 80% of the maximum score). Results: Of the 26 intensive care units in Maranhão, 23 were evaluated; 15 (65.2%) were located in the state capital, and 14 (60.9%) were public. The mean final score was 67.2 (54.2% of the maximum). The worst performance was observed with regard to processes (50.9%) in the units located outside the capital (p = 0.037) and for hospitals with 68 beds or fewer (p = 0.027). The result of the assessment categorized services as a function of the overall total points earned. Specifically, 8 (34.8%) services were assessed as insufficient, 13 (56.5%) were assessed as typical, and 2 (8.7%) were assessed as sufficient. Conclusion: The majority of the intensive care units in this study were assessed as typical. These services must be better qualified. The priorities are the processes of the units located outside the capital and in small hospitals.