Psychometric properties of the reading comprehension test ECOMPLEC. Sec / Propiedades psicométricas de la prueba de compresión lectora ECOMPLEC.SEC

ABSTRACT

ANTECEDENTES: en ciencias sociales, del comportamiento y de salud es habitual usar tests breves. El tamaño del test puede afectar a la correcta identificación de ítems con DIF. Este trabajo compara la eficacia relativa de la Regresión Logística Discriminante (RLD) e IRTLRDIF en la detección del DIF en tests cortos politómicos. MÉTODO: se diseñó un estudio de simulación. Se manipuló tamaño del test, tamaño de la muestra, cantidad DIF y número de categorías de respuesta al ítem. Se evaluó el Error Tipo I y la potencia. RESULTADOS: en las condiciones de no-DIF IRTLRDIF y RLD mostraron tasas de Error Tipo I cercanas al nivel nominal. En tests con DIF las tasas de Error Tipo I dependieron del tamaño del test, de la muestra, cantidad de DIF, contaminación del test y número de categorías del ítem. RLD presentó mayor tasa de Error Tipo I que IRTLRDIF. La potencia estuvo afectada por la cantidad de DIF y tamaño de la muestra. En tests muy cortos RLD mostró mayor potencia que IRTLRDIF. CONCLUSIONES: en tests cortos y con DIF las tasas de Error Tipo I fueron elevadas. La potencia de IRTLRDIF y RLD fue relativamente baja en tests cortos y tamaños muestrales pequeños BACKGROUND: COOMPLEC.Sec is a reading comprehension test for secondary students, conceived from a multidimensional perspective in line with large-scale educational surveys such as PISA or PIRLS. The objective of this study was to validate the theoretical model of ECOMPLEC.Sec. A bifactor model that postulates the existence of a general reading comprehension factor and three specific factors provided a good fit to the data. METHOD: 1,912 adolescents (13-18 years) participated in this study. Data analysis included construct validity via confirmatory factor analysis, and factors were regressed onto observed covariates for the interpretation of the constructs. Reliability was calculated from a non-linear SEM in order to justify the interpretability of the observed scale and subscale scores. RESULTS: the bifactor model exhibited a significantly better fit to the data than the second-order model. Furthermore, construct validity analysis suggests the existence of specific reading comprehension factors. Finally, the reliability study also supports the idea of using a total score to obtain a measure of reading comprehension. CONCLUSIONS: ECOMPLEC.Sec displays a valid parsimonious factor structure, as well as metric properties that make it a suitable tool to assess reading comprehension

RESUMEN

ANTECEDENTES: ECOMPLEC.Sec es una prueba de comprensión lectora para estudiantes de Secundaria concebido desde una perspectiva multidimensional en consonancia con las pruebas educativas de gran escala como PISA o PIRLS. El objetivo de este estudio fue la validación del modelo teórico de ECOMPLEC.Sec. Un modelo bifactorial que presupone la existencia de un factor general de comprensión lectora y tres factores específicos ajustó adecuadamente a los datos. MÉTODO: 1.912 adolescentes (edades entre 13-18 años) participaron en este estudio. Los análisis estadísticos incluyen un análisis factorial confirmatorio cuyos factores se predicen por cuatro covariables con el fin de aportar significado a los constructos. La fiabilidad se abordó desde un modelo no lineal SEM para ayudar en la interpretación de las puntuaciones observadas de las escalas y subescalas. RESULTADOS: el modelo bifactorial exhibió un ajuste significativamente mejor que el modelo factorial de segundo orden. Las evidencias de validez de constructo apuntan a la existencia de factores específicos de comprensión lectora. CONCLUSIONES: ECOMPLEC.Sec muestra una estructura factorial parsimoniosa junto con unas propiedades psicométricas que hacen de ella una prueba adecuada para evaluar la comprensión lectora