Interpreting frequentist hypothesis tests: insights from Bayesian inference.

Randomized controlled trials are one of the best ways of quantifying the effectiveness of medical interventions. Therefore, when the authors of a randomized superiority trial report that differences in the primary outcome between the intervention group and the control group are "significant" (i.e., P ≤ 0.05), we might assume that the intervention has an effect on the outcome. Similarly, when differences between the groups are "not significant," we might assume that the intervention does not have an effect on the outcome. Nevertheless, both assumptions are frequently incorrect.In this article, we explore the relationship that exists between real treatment effects and declarations of statistical significance based on P values and confidence intervals. We explain why, in some circumstances, the chance an intervention is ineffective when P ≤ 0.05 exceeds 25% and the chance an intervention is effective when P > 0.05 exceeds 50%.Over the last decade, there has been increasing interest in Bayesian methods as an alternative to frequentist hypothesis testing. We provide a robust but nontechnical introduction to Bayesian inference and explain why a Bayesian posterior distribution overcomes many of the problems associated with frequentist hypothesis testing.Notwithstanding the current interest in Bayesian methods, frequentist hypothesis testing remains the default method for statistical inference in medical research. Therefore, we propose an interim solution to the "significance problem" based on simplified Bayesian metrics (e.g., Bayes factor, false positive risk) that can be reported along with traditional P values and confidence intervals. We calculate these metrics for four well-known multicentre trials. We provide links to online calculators so readers can easily estimate these metrics for published trials. In this way, we hope decisions on incorporating the results of randomized trials into clinical practice can be enhanced, minimizing the chance that useful treatments are discarded or that ineffective treatments are adopted.

RéSUMé: Les études randomisées contrôlées constituent l'un des meilleurs moyens de quantifier l'efficacité des interventions médicales. Par conséquent, lorsque les autrices et auteurs d'une étude randomisée superiorité signalent que les différences dans le critère d'évaluation principal entre le groupe d'intervention et le groupe témoin sont « significatives ¼ (c.-à-d. P ≤ 0,05), nous pourrions supposer que l'intervention a un effet sur le critère d'évaluation. De même, lorsque les différences entre les groupes ne sont « pas significatives ¼, nous pourrions supposer que l'intervention n'a pas d'effet sur le critère d'évaluation. Pourtant, ces deux hypothèses s'avèrent souvent incorrectes.Dans cet article, nous explorons la relation qui existe entre les effets réels d'un traitement et les déclarations de signification statistique fondées sur les valeurs P et les intervalles de confiance. Nous expliquons pourquoi, dans certaines circonstances, la probabilité qu'une intervention soit inefficace lorsque P ≤ 0,05 dépasse 25 % et la probabilité qu'une intervention soit efficace lorsque P > 0,05 dépasse 50 %.Au cours de la dernière décennie, nous avons assisté à un intérêt croissant pour les méthodes bayésiennes comme alternative aux tests d'hypothèses fréquentistes. Nous proposons une introduction robuste mais non technique à l'inférence bayésienne et expliquons pourquoi une distribution postérieure bayésienne surmonte bon nombre des problèmes associés aux tests d'hypothèses fréquentistes.Malgré l'intérêt actuel pour les méthodes bayésiennes, les tests d'hypothèses fréquentistes restent la méthode par défaut pour l'inférence statistique en recherche médicale. Par conséquent, nous proposons une solution provisoire au « problème de signification ¼ basée sur des mesures bayésiennes simplifiées (par exemple, facteur de Bayes, risque de faux positifs) qui peuvent être rapportées en même temps que les mesures traditionnelles des valeurs P et des intervalles de confiance. Nous calculons ces paramètres pour quatre études multicentriques bien connues. Nous fournissons des liens vers des calculatrices en ligne afin que les lectrices et lecteurs puissent facilement estimer ces mesures pour les études publiées. De cette façon, nous espérons que les décisions sur l'intégration des résultats des études randomisées dans la pratique clinique pourront être améliorées, minimisant ainsi le risque que des traitements utiles soient rejetés ou que des traitements inefficaces soient adoptés.

False-positive and false-negative risks for individual multicentre trials in critical care.

Background: In medical research, null hypothesis significance testing (NHST) is the dominant framework for statistical inference. NHST involves calculating P-values and confidence intervals to quantify the evidence against the null hypothesis of no effect. However, P-values and confidence intervals cannot tell us the probability that the hypothesis is true. In contrast, false-positive risk (FPR) and false-negative risk (FNR) are post-test probabilities concerning the truth of the hypothesis, that is to say, the probability a real effect exists. Methods: We calculated the FPR or FNR for 53 individual multicentre trials in critical care based on a pretest probability of 0.5 that the hypothesis was true. Results: For trials reporting statistical significance, the FPR varied between 0.1% and 57.6%. For trials reporting non-significance, the FNR varied between 1.7% and 36.9%. Twenty-six of 47 trials (55.3%) reporting non-significance provided strong or very strong evidence in favour of the null hypothesis; the remaining trials provided limited evidence. There was no obvious relationship between the P-value and the FNR. Conclusions: The FPR and FNR showed marked variability, indicating that the probability of a real or absent treatment effect differed substantially between trials. Only one trial reporting statistical significance provided convincing evidence of a real treatment effect, and nearly half of all trials reporting non-significance provided limited evidence for the absence of a treatment effect. Our findings suggest that the quality of evidence from multicentre trials in critical care is highly variable.