Consistency errors in p-values reported in Spanish psychology journals / Errores de consistencia en los valores p informados en las revistas españolas de Psicología

ABSTRACT

Background: Recent reviews have drawn attention to frequent consistency errors when reporting statistical results. Method: We have reviewed the statistical results reported in 186 articles published in four Spanish psychology journals. Of these articles, 102 contained at least one of the statistics selected for our study Fisher-F, Student-t and Pearson-χ2. Results: Out of the 1,212 complete statistics reviewed, 12.2% presented a consistency error, meaning that the reported p-value did not correspond to the reported value of the statistic and its degrees of freedom. In 2.3% of the cases, the correct calculation would have led to a different conclusion than the reported one. In terms of articles, 48% included at least one consistency error, and 17.6% would have to change at least one conclusion. In metaanalytical terms, with a focus on effect size, consistency errors can be considered substantial in 9.5% of the cases. Conclusion: These results imply a need to improve the quality and precision with which statistical results are reported in Spanish psychology journals (AU)

RESUMEN

Antecedentes recientes trabajos han llamado la atención sobre la presencia de frecuentes errores de consistencia al informar de los resultados estadísticos. Método: hemos revisado los resultados estadísticos de 186 artículos publicados en cuatro revistas españolas de Psicología, 102 de los cuales contenían alguno de los estadísticos seleccionados para nuestro estudio F de Fisher, t de Student y χ2 de Pearson. Resultados: de los 1.212 contrastes completos revisados el 12,2% presenta algún tipo de error de consistencia el valor p informado no se corresponde con el valor del estadístico de contraste y sus grados de libertad. En el 2,3% de los casos el error detectado conllevaría un cambio en la conclusión estadística del contraste. En términos del número de artículos, el 48% de los revisados incluye algún error de consistencia y al menos el 17,6% tendría que cambiar alguna de sus conclusiones. En términos metaanalíticos, los errores de consistencia pueden considerarse importantes en el 9,5% de los casos. Conclusiones: estos resultados señalan la necesidad de mejorar la calidad y precisión con la que se informa de los resultados estadísticos en las revistas españolas de Psicología (AU)