Assessing short-term individual consistency using IRT-based statistics

RESUMEN

Se propone un procedimiento, basado en un estadístico global para evaluar la consistencia intra-individual en un diseño retest basado en un intervalo de retest corto. El procedimiento se desarrolla en el marco de los modelos paramétricos de TRI, y el estadístico, que se basa en la función de verosimilitud, puede ser considerado como una extensión del estadístico lz. Se discute la justificación para el uso e interpretación del estadístico y se propone además un estadístico estandarizado a nivel de ítem para obtener claves acerca de las posibles causas de la inconsistencia detectada mediante el índice global. El procedimiento se ilustra con un ejemplo real y una simulación paralela en el dominio de la personalidad(AU)

ABSTRACT

This article proposes a procedure, based on a global statistic, for assessing intra-individual consistency in a test-retest design with a short-term retest interval. The procedure is developed within the framework of parametric item response theory, and the statistic is a likelihood-based measure that can be considered as an extension of the well-known lz person-fit index. The rationale for using and interpreting the proposed statistic is discussed, and an adapted standardized residual at the item level is also proposed to obtain clues about the possible causes of the detected inconsistency. The procedure is illustrated with a real-data example and a parallel simulation in the personality domain(AU)