Treatment of individual predictors with neural network algorithms improves Global Registry of Acute Coronary Events score discrimination / El tratamiento con redes neuronales de las variables del Global Registry of Acute Coronary mejora la discriminación del score

Abstract Objective: The aim of this study was to develop, train, and test different neural network (NN) algorithm-based models to improve the Global Registry of Acute Coronary Events (GRACE) score performance to predict in-hospital mortality after an acute coronary syndrome. Methods: We analyzed a prospective database, including 40 admission variables of 1255 patients admitted with the acute coronary syndrome in a community hospital. Individual predictors included in GRACE score were used to train and test three NN algorithm-based models (guided models), namely: one- and two-hidden layer multilayer perceptron and a radial basis function network. Three extra NNs were built using the 40 admission variables of the entire database (unguided models). Expected mortality according to GRACE score was calculated using the logistic regression equation. Results: In terms of receiver operating characteristic area and negative predictive value (NPV), almost all NN algorithms outperformed logistic regression. Only radial basis function models obtained a better accuracy level based on NPV improvement, at the expense of positive predictive value (PPV) reduction. The independent normalized importance of variables for the best unguided NN was: creatinine 100%, Killip class 61%, ejection fraction 52%, age 44%, maximum creatine-kinase level 41%, glycemia 40%, left bundle branch block 35%, and weight 33%, among the top 8 predictors. Conclusions: Treatment of individual predictors of GRACE score with NN algorithms improved accuracy and discrimination power in all models with respect to the traditional logistic regression approach; nevertheless, PPV was only marginally enhanced. Unguided variable selection would be able to achieve better results in PPV terms.

Resumen Objetivo: El objetivo fue desarrollar, entrenar y probar diferentes modelos basados en algoritmos de redes neuronales (RN) para mejorar el rendimiento del score del Registro Global de Eventos Coronarios Agudos (GRACE) para predecir la mortalidad hospitalaria después de un síndrome coronario agudo. Métodos: Analizamos una base de datos prospectiva que incluía 40 variables de ingreso de 1255 pacientes con síndrome coronario agudo en un hospital comunitario. Las variables incluidas en la puntuación GRACE se usaron para entrenar y probar tres algoritmos basados en RN (modelos guiados), a saber: perceptrones multicapa de una y dos capas ocultas y una red de función de base radial. Se construyeron tres RN adicionales utilizando las 40 variables de admisión de toda la base de datos (modelos no guiados). La mortalidad esperada según el GRACE se calculó usando la ecuación de regresión logística. Resultados: En términos del área ROC y valor predictivo negativo (VPN), casi todos los algoritmos RN superaron la regresión logística. Solo los modelos de función de base radial obtuvieron un mejor nivel de precisión basado en la mejora del VPN, pero a expensas de la reducción del valor predictivo positivo (VPP). La importancia normalizada de las variables incluidas en la mejor RN no guiada fue: creatinina 100%, clase Killip 61%, fracción de eyección 52%, edad 44%, nivel máximo de creatina quinasa 41%, glucemia 40%, bloqueo de rama izquierda 35%, y peso 33%, entre los 8 predictores principales. Conclusiones: El tratamiento de las variables del score GRACE mediante algoritmos de RN mejoró la precisión y la discriminación en todos los modelos con respecto al enfoque tradicional de regresión logística; sin embargo, el VPP solo mejoró marginalmente. La selección no guiada de variables podría mejorar los resultados en términos de PPV.

Validación prospectiva multicéntrica del EuroSCORE II en Argentina / Multicenter prospective validation of the EuroSCORE II in Argentina

Resumen Objetivo: Validar, en forma prospectiva y en múltiples centros, la precisión y utilidad clínica del European System for Cardiac Operative Risk Evaluation II (EuroSCORE II) para predecir la mortalidad operatoria de la cirugía cardíaca en centros de Argentina Método: Entre enero de 2012 y febrero de 2018 se incluyeron en forma prospectiva 2,000 pacientes consecutivos que fueron sometidos a cirugía cardíaca en diferentes centros de Argentina. El punto final fue mortalidad hospitalaria por cualquier causa. La discriminación, calibración, precisión y utilidad clínica del EuroSCORE II se evaluaron en la cohorte global y en los diferentes tipos de cirugías, basándose en las curvas Receiver Operating Characteristics (ROC), bondad de ajuste de Hosmer-Lemeshow, razón de mortalidad observada/esperada, índice de Shannon y curvas de decisión. Resultados: El área ROC del EuroSCORE II estuvo entre 0.73 y 0.80 para todo tipo de cirugía, y el valor más bajo fue para la cirugía coronaria. La mortalidad observada y esperada fue 4.3 y 3.0%, respectivamente (p = 0.034). El análisis de la curva de decisión demostró un beneficio neto positivo para los umbrales por debajo de 0.24 para todo tipo de cirugía. Conclusiones: El EuroSCORE II tuvo un desempeño adecuado en términos de discriminación y calibración para todos los tipos de cirugía, aunque algo inferior para la cirugía coronaria. Si bien en términos generales subestimó el riesgo en los grupos de riesgo intermedio, el comportamiento global fue aceptable. El EuroSCORE II podría considerarse una opción de modelo genérico y actualizado de estratificación del riesgo operatorio para predecir la mortalidad hospitalaria de la cirugía cardíaca en nuestro contexto.

Abstract Objective: To validate prospectively in multiple centers, the accuracy and clinical utility of the European System for Cardiac Operative Risk Evaluation (EuroSCORE II) to predict the operative mortality of cardiac surgery in Argentina. Methods: Between January 2012 and February 2018, 2,000 consecutive adult patients who underwent cardiac surgery in different centers in Argentina were prospectively included. The end-point was in-hospital all-cause mortality. Discrimination, calibration, precision and clinical utility of the EuroSCORE II were evaluated in the global cohort and in the different types of surgeries, based on ROC (Receiver Operating Characteristics) curves, Hosmer-Lemeshow goodness-of-fit test, observed/expected mortality ratio, Shannon index and decision curves analysis. Results: ROC area of the EuroSCORE II was between 0.73 and 0.80 for all types of surgery, being the lowest value for coronary surgery. The observed and expected mortality was 4.3% and 3.0%, respectively (p = 0.034). The decision curve analysis showed a positive net benefit for all thresholds below 0.24, considering all type of surgeries. Conclusion: The EuroSCORE II showed an adequate performance in terms of discrimination and calibration for all types of surgery, although somewhat inferior for coronary surgery. Though in general terms this model underestimated the risk in intermediate risk groups, its overall performance was acceptable. The EuroSCORE II could be considered an optional updated generic model of operative risk stratification to predict in-hospital mortality after cardiac surgery in our context.