Evaluación de competencias en Urología. Esscolap® basic, como aproximación a la mejora de las capacidades de los urólogos / Evaluation of competencies in urology. Esscolap® basic, as aproximation to urologists skills improvement

RESUMEN

Introducción: La Urología necesita de modelos de evaluación de capacidades, a pesar de que existe una variada oferta de herramientas que no están integradas en los programas de formación. Contexto: No existe un criterio universal para medir el nivel de competencia. Los programas de formación deben proporcionar conocimientos y destrezas, y deben considerar las habilidades cognitivas, la formación basada sobre simulación y modelo animal. La validez es un concepto complejo que hace referencia a la capacidad del instrumento de evaluación, por lo que es necesario establecer varios tipos de validación para asegurar la capacidad de un método, reforzarse con distintos test de fiabilidad y cálculo de consistencia interna entre evaluadores. Objetivo: A partir de un dossier estructurado de competencias quirúrgicas, clasificadas por grupos, se planteó el sistema ESSCOLAP® Basic con 5 ejercicios sobre simulador, para la evaluación de las competencias básicas en Laparoscopia. Una vez validado, en el CCMIJU, se planteó ampliar el alcance e implementación del mismo en otras localizaciones. Resultados: Nuestro sistema no ha demostrado aún su validez en el ámbito clínico real, porque no presenta una validez predictiva con datos clínicos de resultados en salud. Existe, además, un cierto rango de subjetividad, por lo que se requiere establecer criterios claros y definidos para cualquier situación. El número de evaluadores y de los ejercicios a evaluar, va a influir en los test de fiabilidad que miden el grado de acuerdo entre evaluadores, de modo que sólo obteniendo un elevado número de casos evaluados, podremos acercarnos a una mayor fiabilidad de nuestro sistema. Por último, asumimos que la incorporación de este tipo de herramientas implica un coste añadido a cargo de las instituciones públicas y privadas responsables, que sólo se considerará rentable cuando se demuestre su trazabilidad real y positiva en resultados sanitarios. Conclusiones: ESSCOLAP® Basic, con capacidad de implementación rápida y sencilla, ha sido validado y contrastado para la evaluación de las habilidades técnicas básicas en laparoscopia (AU)

ABSTRACT

Introduction: Urology needs models of competencies assessment, although there is a wide range of tools not yet integrated into the official training programs. Context At present, there is no universal framework for measuring surgeons ́ level of competence. Urology training programs should provide and consider knowledge, pyschomotor/cognitive skills, and simulator, cadaver or animal models-based training. Validity is a complex concept that refers to the capacity of the evaluation tool, so it is necessary to demonstrate several types of validation to assure the capacity of a method, reinforced with different reliability tests and calculation of internal consistency between evaluators. Objective: Based on a structured dossier of surgical skills, classified by groups, the ESSCOLAP® Basic system was proposed with 5 simulator tasks to evaluate basic laparoscopic skills. Once validated in the JUMISC (Spain), the tool was proposed to extend its scope and implementation in other locations. Results: Our system has not yet demonstrated a full validity in the real clinical setting because a predictive validity needs to be demonstrated on the basis of clinical data. It also suffers from a certain range of subjectivity, thus implying clear and defined criteria for any situation. Factors like the number of evaluators and tasks to assess will influence the reliability tests that measure the degree of agreement between evaluators, so that a higher number of evaluated cases would imply a greater reliability of our system. Finally, we assume that the incorporation of this type of tools implies an added cost, charged to the public and private responsible institutions, which will only be considered cost-effective when it is demonstrated its real and positive traceability in health outcomes. Conclusions: ESSCOLAP® Basic, of quick and simple implementation capacity, has been validated and calibrated for the evaluation of basic technical skills in laparoscopy (AU)