Impact of diagnostic methods on efficacy estimation - a proof-of-principle based on historical examples.

ABSTRACT

INTRODUCTION: Accurate diagnostic methods are essential for evaluating treatment efficacy in clinical trials, including vaccine trials. Although a plethora of studies assessing novel or modified treatment options is available, clinical trials evaluating the sensitivity and specificity of diagnostic methods in compliance with the demands of drug registration trials are scarce. We assessed the accuracy of diagnostic methods in two vaccine trials conducted in 1995 and 2009 to demonstrate the impact of sensitivity and specificity on efficacy estimations. METHODS: We applied the sensitivity- and specificity-adjusted vaccine efficacy estimator of Lachenbruch for modelling the impact of test characteristics on the outcome of the two vaccine trials by varying diagnostic specificity. RESULTS: Because of non-ideal diagnostic sensitivity and specificity, the estimation of vaccine efficacy is compromised. We demonstrate the impact of diagnostic accuracy on efficacy estimations with increasing confidence limits. CONCLUSIONS: Because sensitivity and specificity less than one have a direct impact on efficacy estimations in clinical trials, evaluation of diagnostic methods should lead to a level of evidence comparable with the efficacy assessment of novel treatment options. Furthermore, statistical methods adjusted for sensitivity and specificity of diagnostic methods should be applied for efficacy estimations, or this lack of confidence has to be taken into account when interpreting the results of trials.

INTRODUCTION: Des méthodes de diagnostic précises sont essentielles pour évaluer l'efficacité du traitement dans les essais cliniques, y compris les essais de vaccins. Bien qu'une pléthore d'études évaluant des options de traitement nouvelles ou modifiées soit disponible, les essais cliniques évaluant la sensibilité et la spécificité des méthodes de diagnostic conformément aux exigences des essais pour l'enregistrement des médicaments sont rares. Nous avons évalué la précision des méthodes de diagnostic dans deux essais vaccinaux menés en 1995 et 2009 afin de démontrer l'impact de la sensibilité et de la spécificité sur les estimations d'efficacité. MÉTHODE Nous avons appliqué l'estimateur d'efficacité vaccinale ajusté en fonction de la sensibilité et de la spécificité de Lachenbruch pour modéliser l'impact des caractéristiques des tests sur les résultats de deux essais vaccinaux en faisant varier la spécificité diagnostique. RÉSULTAT En raison de la sensibilité et de la spécificité diagnostiques non idéales, l'estimation de l'efficacité du vaccin est compromise. Nous démontrons l'impact de la précision du diagnostic sur les estimations d'efficacité avec l'augmentation des limites de confiance. CONCLUSION: Etant donné que la sensibilité et la spécificité inférieures à un ont un impact direct sur les estimations d'efficacité dans les essais cliniques, l'évaluation des méthodes de diagnostic devrait conduire à un niveau d'évidence comparable à l'évaluation de l'efficacité de nouvelles options de traitement. En outre, des méthodes statistiques ajustées en fonction de la sensibilité et de la spécificité des méthodes de diagnostic doivent être appliquées pour les estimations de l'efficacité, ou alors ce manque de confiance devrait être pris en compte lors de l'interprétation des résultats des essais.