Validation of an Electronic Medical Record-Based Algorithm for Identifying Posttraumatic Stress Disorder in U.S. Veterans.

ABSTRACT

We developed an algorithm for identifying U.S. veterans with a history of posttraumatic stress disorder (PTSD), using the Department of Veterans Affairs (VA) electronic medical record (EMR) system. This work was motivated by the need to create a valid EMR-based phenotype to identify thousands of cases and controls for a genome-wide association study of PTSD in veterans. We used manual chart review (n = 500) as the gold standard. For both the algorithm and chart review, three classifications were possible likely PTSD, possible PTSD, and likely not PTSD. We used Lasso regression with cross-validation to select statistically significant predictors of PTSD from the EMR and then generate a predicted probability score of being a PTSD case for every participant in the study population (range 0-1.00). Comparing the performance of our probabilistic approach (Lasso algorithm) to a rule-based approach (International Classification of Diseases [ICD] algorithm), the Lasso algorithm showed modestly higher overall percent agreement with chart review than the ICD algorithm (80% vs. 75%), higher sensitivity (0.95 vs. 0.84), and higher accuracy (AUC = 0.95 vs. 0.90). We applied a 0.7 probability cut-point to the Lasso results to determine final PTSD case-control status for the VA population. The final algorithm had a 0.99 sensitivity, 0.99 specificity, 0.95 positive predictive value, and 1.00 negative predictive value for PTSD classification (grouping possible PTSD and likely not PTSD) as determined by chart review. This algorithm may be useful for other research and quality improvement endeavors within the VA.

RESUMEN

Spanish Abstracts by Asociación Chilena de Estrés Traumático (ACET) Validación de un algoritmo basado en registros médicos electrónicos para identificar el trastorno por estrés postraumático en veteranos de los EE. UU. VALIDACIÓN DE ALGORITOMO DE TEPT Desarrollamos un algoritmo para identificar a los veteranos de EE. UU. con historial de trastorno de estrés postraumático (TEPT), utilizando el sistema de registro médico electrónico (RME) del Departamento de Asuntos de Veteranos (AS). Este trabajo fue motivado por la necesidad de crear un fenotipo válido, basado en RME para identificar miles de casos y controles para un estudio de asociación del genoma del TEPT en los veteranos. Utilizamos la revisión manual de tablas (n = 500) como gold estándar. Tanto para el algoritmo como para la revisión de la tabla, fueron posibles tres clasificaciones PTSD probable, PTSD posible y probablemente no PTSD. Usamos la regresión Lasso con validación cruzada para seleccionar los factores de pronóstico estadísticamente significativos del TEPT a partir de la RME y luego generar una puntuación de probabilidad pronosticada de ser un caso de TEPT para cada participante en la población del estudio (rango 0-1.00). Comparando el rendimiento de nuestro enfoque probabilístico (algoritmo Lasso) con un enfoque basado en reglas (algoritmo de Clasificación Internacional de Enfermedades [CIE]), el algoritmo Lasso mostró un porcentaje de acuerdo global modestamente más alto con la revisión de tablas que el algoritmo CIE (80% vs. 75). %), mayor sensibilidad (0.95 frente a 0.84) y mayor precisión (AUC = 0.95 frente a 0.90). Aplicamos un punto de corte de probabilidad de 0.7 a los resultados de Lasso para determinar el estado final de control de caso de TEPT para la población de AV. El algoritmo final tuvo una sensibilidad de 0.99, una especificidad de 0.99, un valor predictivo positivo de 0.95 y un valor predictivo negativo de 1.00 para la clasificación de TEPT (agrupación de TEPT posible y probablemente no TEPT) según lo determinado por la revisión de la tabla. Este algoritmo puede ser útil para otros esfuerzos de investigación y mejora de la calidad dentro del AV.