External validation of a prognostic model for intensive care unit mortality: a retrospective study using the Ontario Critical Care Information System.

ABSTRACT

PURPOSE: To externally validate an intensive care unit (ICU) mortality prediction model that was created using the Ontario Critical Care Information System (CCIS), which includes the Multiple Organ Dysfunction Score (MODS). METHODS: We applied the Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) recommendations to a prospective longitudinal cohort of patients discharged between 1 July 2015 and 31 December 31 2016 from 90 adult level-3 critical care units in Ontario. We used multivariable logistic regression with measures of discrimination, calibration-in-the-large, calibration slope, and flexible calibration plots to compare prediction model performance of the entire data set and for each ICU subtype. RESULTS: Among 121,201 CCIS records with ICU mortality of 11.3%, the C-statistic for the validation data set was 0.805. The C-statistic ranged from 0.775 to 0.846 among the ICU subtypes. After intercept recalibration to adjust the baseline risk, the mean predicted risk of death matched actual ICU mortality. The calibration slope was close to 1 with all CCIS data and ICU subtypes of cardiovascular and community hospitals with low ventilation rates. Calibration slopes significantly less than 1 were found for ICUs in teaching hospitals and community hospitals with high ventilation rates whereas coronary care units had a calibration slope significantly higher than 1. Calibration plots revealed over-prediction in high risk groups to a varying degree across all cohorts. CONCLUSIONS: A risk prediction model primarily based on the MODS shows reproducibility and transportability after intercept recalibration. Risk adjusting models that use existing and feasible data collection can support performance measurement at the individual ICU level.

RéSUMé OBJECTIF Nous souhaitions faire une validation externe d'un modèle de prédiction de la mortalité aux unités de soins intensifs (USI) créé en utilisant le Système d'information sur les soins aux malades en phase critique (SISMPC) de l'Ontario, qui comporte le Score de défaillance multisystémique (MODS). MéTHODE Nous avons appliqué les recommandations de communication transparente d'un modèle de prédiction multivarié pour le pronostic ou le diagnostic individuel TRIPOD à une cohorte longitudinale prospective de patients. Ces patients devaient avoir reçu leur congé entre le 1er juillet 2015 et le 31 décembre 2016 de 90 unités de soins intensifs de niveau 3 pour adultes en Ontario. Nous avons utilisé une méthode de régression logistique multivariée accompagnée de mesures de discrimination, d'étalonnage global, de pentes d'étalonnage et de graphiques d'étalonnage afin de comparer la performance du modèle de prédiction pour l'ensemble des données dans son intégralité et pour chaque sous-type d'USI. RéSULTATS Parmi les 121 201 dossiers du SISMPC présentant une mortalité à l'USI de 11,3 %, la statistique C pour l'ensemble de données de validation était 0,805. La statistique C allait de 0,775 à 0,846 parmi les sous-types d'USI. Après réétalonnage de l'ordonnée afin d'ajuster le risque de base, le risque prédit moyen de décès correspondait à la mortalité réelle à l'USI. La pente d'étalonnage était proche de 1 pour toutes les données du SISMPC et tous les sous-types d'USI des hôpitaux cardiovasculaires et communautaires ayant de faibles taux de patients ventilés. Des pentes d'étalonnage significativement inférieures à 1 ont été observées pour les USI dans les hôpitaux universitaires et les hôpitaux communautaires ayant des taux de patients ventilés élevés, alors que les unités de soins coronariens présentaient une pente d'étalonnage significativement supérieure à 1. Les courbes d'étalonnage ont révélé une sur-prédiction dans les groupes à risque élevé à des degrés variables dans toutes les cohortes. CONCLUSION: Un modèle de prédiction du risque se fondant principalement sur le score MODS a montré sa reproductibilité et son applicabilité après réétalonnage de l'ordonnée. Les modèles d'ajustement du risque qui s'appuient sur des collectes de données existantes et réalisables peuvent aider à mesurer la performance au niveau de l'USI individuelle.