Statistical characterization of a good biomarker in oncology. / Características bioestadísticas de un buen biomarcador en Oncología.

OBJECTIVE: The  aim of this article is to review and illustrate the attributes that analyze the performance of a predictive model, suchas discrimination, calibration and clinical utility. MATERIAL AND METHODS: To illustrate a biomarkervalidation process, we analyzed 216 patientsrecruited in the Miguel Servet University Hospital Zaragoza, Spain. The outcome of the study was clinicallysignificant prostate cancer (Gleason ≥ 7). A newbiomarker was built using logistic regression modelfrom age, prostate-specific antigen, prostate volumeand digital rectal exam variables. To analyze the discriminationability, the receiver operating characteristiccurve, its area under the curve (AUC), and Youdenindex were estimated. In addition, the calibration wasanalyzed through calibration curve, intercept and slope;and the clinical utility was studied by means of decisionand clinical utility curves. RESULTS: The discrimination ability was good:AUC 0.790 (0.127-0.853 95% C.I.), Youden index cutoffpoint 0.431 (specificity 0.811, sensitivity 0.697).The Intercept was 0 and Slope 1 showing a perfect calibration.Decision curve showed good net benefit in athreshold probability range 25%-80%. Clinical utilitycurve showed that for a 18% cutoff point, a minimum4.5% of CsPCa patients are wrongly classified belowthe cutoff point, saving 18.5% biopsies. CONCLUSIONS: A complete validation process isnecessary to analyze the performance of a biomarkerin oncology, based on their discrimination ability, theconcordance between predicted and actual occurrenceof the outcome, and its applicability in clinical practice.

OBJETIVO: El objetivo principal de esteartículo es revisar e ilustrar las propiedades para analizarel desempeño de un modelo predictivo, que sonla discriminación, calibración y utilidad clínica.MATERIAL Y MÉTODOS: Para ilustrar un procesode validación de biomarcadores, analizamos 216 pacientesreclutados en el Hospital Universitario MiguelServet, Zaragoza, España. El objetivo a predecir en elestudio fue un cáncer de próstata clínicamente significativo(Gleason ≥ 7). Se construyó un nuevo biomarcadorutilizando un modelo de regresión logísticausando la edad, el antígeno prostático específico, elvolumen de la próstata y el tacto rectal como variablespredictoras. Para analizar la capacidad de discriminaciónse estimó la curva característica de funcionamientodel receptor, su área bajo la curva (AUC) y elíndice de Youden. Además, la calibración se analizómediante curva de calibración, intersección y pendiente;y la utilidad clínica se estudió mediante curvasde decisión y utilidad clínica. RESULTADOS: La capacidad de discriminación fuebuena: AUC 0,790 (0,127-0,853 IC del 95%), punto decorte del índice de Youden 0,431 (especificidad 0,811,sensibilidad 0,697). La intersección fue 0 y la pendiente1, mostrando una calibración perfecta. La curva dedecisión muestra un buen beneficio neto en un rangode probabilidad del 25% al 80%. La curva de utilidadclínica mostró que para un punto de corte del 18%, seproduce un mínimo del 4,5% de los pacientes con CsPCaclasificados incorrectamente por debajo del puntode corte, ahorrando un 18,5% de biopsias. CONCLUSIONES: Es necesario un proceso de validacióncompleto para analizar el desempeño de un biomarcadoren oncología, en función de su capacidad dediscriminación, la concordancia entre las prediccionesque proporciona el marcador y la ocurrencia real delevento, y su aplicabilidad en la práctica clínica.

Características bioestadísticas de un buen biomarcador en oncología / Statistical characterization of a good biomarker in oncology

OBJETIVO: El objetivo principal de esteartículo es revisar e ilustrar las propiedades para analizar el desempeño de un modelo predictivo, que sonla discriminación, calibración y utilidad clínica.MATERIAL Y MÉTODOS: Para ilustrar un procesode validación de biomarcadores, analizamos 216 pacientes reclutados en el Hospital Universitario MiguelServet, Zaragoza, España. El objetivo a predecir en elestudio fue un cáncer de próstata clínicamente significativo (Gleason ≥ 7). Se construyó un nuevo biomarcador utilizando un modelo de regresión logísticausando la edad, el antígeno prostático específico, elvolumen de la próstata y el tacto rectal como variablespredictoras. Para analizar la capacidad de discriminación se estimó la curva característica de funcionamiento del receptor, su área bajo la curva (AUC) y elíndice de Youden. Además, la calibración se analizómediante curva de calibración, intersección y pendiente; y la utilidad clínica se estudió mediante curvasde decisión y utilidad clínica. RESULTADOS: La capacidad de discriminación fuebuena: AUC 0,790 (0,127-0,853 IC del 95%), punto decorte del índice de Youden 0,431 (especificidad 0,811,sensibilidad 0,697). La intersección fue 0 y la pendiente 1, mostrando una calibración perfecta. La curva dedecisión muestra un buen beneficio neto en un rangode probabilidad del 25% al 80%. La curva de utilidadclínica mostró que para un punto de corte del 18%, seproduce un mínimo del 4,5% de los pacientes con CsPCa clasificados incorrectamente por debajo del puntode corte, ahorrando un 18,5% de biopsias.CONCLUSIONES: Es necesario un proceso de validación completo para analizar el desempeño de un biomarcador en oncología, en función de su capacidad dediscriminación, la concordancia entre las prediccionesque proporciona el marcador y la ocurrencia real delevento, y su aplicabilidad en la práctica clínica. (AU)

lustrate the attributes that analyze theperformance of a predictive model, such as discrimination, calibration and clinical utility.MATERIAL AND METHODS: To illustrate a biomarker validation process, we analyzed 216 patientsrecruited in the Miguel Servet University Hospital, Zaragoza, Spain. The outcome of the study was clinically significant prostate cancer (Gleason ≥ 7). A newbiomarker was built using logistic regression modelfrom age, prostate-specific antigen, prostate volumeand digital rectal exam variables. To analyze the discrimination ability, the receiver operating characteristic curve, its area under the curve (AUC), and Youdenindex were estimated. In addition, the calibration wasanalyzed through calibration curve, intercept and slope; and the clinical utility was studied by means of decision and clinical utility curves.RESULTS: The discrimination ability was good:AUC 0.790 (0.127-0.853 95% C.I.), Youden index cutoff point 0.431 (specificity 0.811, sensitivity 0.697).The Intercept was 0 and Slope 1 showing a perfect calibration. Decision curve showed good net benefit in athreshold probability range 25%-80%. Clinical utilitycurve showed that for a 18% cutoff point, a minimum4.5% of CsPCa patients are wrongly classified belowthe cutoff point, saving 18.5% biopsies.CONCLUSIONS: A complete validation process isnecessary to analyze the performance of a biomarkerin oncology, based on their discrimination ability, theconcordance between predicted and actual occurrenceof the outcome, and its applicability in clinical practice. (AU)