Agreement and prognostic accuracy of three ED vulnerability screeners: findings from a prospective multi-site cohort study.

ABSTRACT

OBJECTIVES: To evaluate the agreement between three emergency department (ED) vulnerability screeners, including the InterRAI ED Screener, ER2, and PRISMA-7. Our secondary objective was to evaluate the discriminative accuracy of screeners in predicting discharge home and extended ED lengths-of-stay (> 24 h). METHODS: We conducted a nested sub-group study using data from a prospective multi-site cohort study evaluating frailty in older ED patients presenting to four Quebec hospitals. Research nurses assessed patients consecutively with the three screeners. We employed Cohen's Kappa to determine agreement, with high-risk cut-offs of three and four for the PRISMA-7, six for the ER2, and five for the interRAI ED Screener. We used logistic regression to evaluate the discriminative accuracy of instruments, testing them in their dichotomous, full, and adjusted forms (adjusting for age, sex, and hospital academic status). RESULTS: We evaluated 1855 older ED patients across the four hospital sites. The mean age of our sample was 84 years. Agreement between the interRAI ED Screener and the ER2 was fair (K = 0.37; 95% CI 0.33-0.40); agreement between the PRISMA-7 and ER2 was also fair (K = 0.39; 95% CI = 0.36-0.43). Agreement between interRAI ED Screener and PRISMA-7 was poor (K = 0.19; 95% CI 0.16-0.22). Using a cut-off of four for PRISMA-7 improved agreement with the ER2 (K = 0.55; 95% CI 0.51-0.59) and the ED Screener (K = 0.32; 95% CI 0.2-0.36). When predicting discharge home, the concordance statistics among models were similar in their dichotomous (c = 0.57-0.61), full (c = 0.61-0.64), and adjusted forms (c = 0.63-0.65), and poor for all models when predicting extended length-of-stay. CONCLUSION: ED vulnerability scores from the three instruments had a fair agreement and were associated with important patient outcomes. The interRAI ED Screener best identifies older ED patients at greatest risk, while the PRISMA-7 and ER2 are more sensitive instruments.

RéSUMé OBJECTIFS Évaluer la concordance entre trois outils de dépistage de la vulnérabilité des urgences, notamment l'InterRAI ED Screener, ER2 et PRISMA-7. Notre objectif secondaire était d'évaluer la précision discriminative des agents de dépistage dans la prédiction de la sortie à domicile et des durées de séjour prolongées à l'urgence (> 24 heures). MéTHODES Nous avons mené une étude de sous-groupe emboîtée à partir des données d'une étude de cohorte prospective multi-sites évaluant la fragilité chez les patients plus âgés se présentant aux urgences de quatre hôpitaux québécois. Les infirmières de recherche ont évalué les patients consécutivement avec les trois dépisteurs. Nous avons utilisé le Kappa de Cohen pour déterminer la concordance, avec des seuils de risque élevé de trois et quatre pour le PRISMA-7, de six pour l'ER2 et de cinq pour l' interRAI ED Screener. Nous avons utilisé la régression logistique pour évaluer la précision discriminante des instruments, en les testant dans leur forme dichotomique, complète et ajustée (en ajustant pour l'âge, le sexe et le statut académique). RéSULTATS Nous avons évalué 1 855 patients âgés aux urgences dans les quatre sites hospitaliers. L'âge moyen de notre échantillon était de 84 ans. La concordance entre l'interRAI ED Screener et l'ER2 était équitable (K =0,37 ; IC à 95 % =0,33-0,40) ; la concordance entre le PRISMA-7 et l'ER2 était également équitable (K = 0,39 ; IC à 95 % =0,36-0,43). La concordance entre interRAI ED Screener et PRISMA-7 était faible (K = 0,19 ; IC à 95 % = 0,16-0,22). L'utilisation d'un seuil de quatre pour PRISMA-7 a amélioré la concordance avec l'ER2 (K =0,55 ; IC à 95% =0,51-0,59) et l'ED Screener (K =0,32 ; IC à 95 % =0,2-0,36). En ce qui concerne la prédiction du retour à domicile, les statistiques de concordance entre les modèles étaient similaires dans leurs formes dichotomiques (c = 0,57-0,61), complètes (c =0,61-0,64) et ajustées (c =0,63-0,65), et faibles pour tous les modèles en ce qui concerne la prédiction de la durée de séjour prolongée. CONCLUSION: Les scores de vulnérabilité aux urgences des trois instruments concordaient assez bien et étaient associés à des résultats importants pour les patients.