Estimation approaches in cognitive diagnosis modeling when attributes are hierarchically structured / Enfoques de estimación en Modelado Diagnóstico Cognitivo cuando los atributos están estructurados jerárquicamente

BACKGROUND: Although research in cognitive psychology suggests refraining from investigating cognitive skills inisolation, many cognitive diagnosis model (CDM) examples do not take hierarchical attribute structures into account. When hierarchical relationships among the attributes are not considered, CDM estimates may be biased. METHOD: The current study, through simulation and real data analyses, examines the impact of different MMLE-EM approaches on the item and person parameter estimates of the G-DINA, DINA and DINO models when attributes have a hierarchical structure. A number of estimation approaches that can result from modifying either the Q-matrix or prior distribution are proposed. Impact of the proposed approaches on item parameter estimation accuracy and attribute classification are investigated. RESULTS: For the G-DINA model estimation, the Q-matrix type (i.e, explicit vs. implicit) has greater impact than structuring the prior distribution. Specifically, explicit Q-matrices result in better item parameter recovery and higher correct classification rates. In contrast, structuring the prior distribution is more influential on item and person parameter estimates for the reduced models. When prior distribution is structured, the Q-matrix type has almost no influence on item and person parameter estimates of the DINA and DINO models. CONCLUSION: We can conclude that the Q-matrix type has a significant impact on CDM estimation, especially when the estimating model is G-DINA

ANTECEDENTES: a pesar de que investigación en psicología cognitiva sugiere abstenerse de investigar rasgos cognitivos de forma aislada, muchos de los ejemplos en Modelado Diagnóstico Cognitivo (MDC) no tienen en cuenta la estructura jerárquica de los atributos implicados. Sin embargo, las estimaciones que se hagan con los MDC pueden estar sesgadas cuando no se consideran estas relaciones jerárquicas. MÉTODO: a través de la simulación y datos reales, el presente estudio estudia el impacto de diferentes enfoques MMLE-EM en los parámetros estimados para los ítems y las personas según los modelos G-DINA, DINA y DINO cuando los atributos tienen una estructura jerárquica. Se proponen una serie de enfoques de estimación que resultan de modificar la Matriz-Q o la distribución previa. Se investiga el impacto de los enfoques propuestos en la precisión en la estimación de los parámetros de los ítems y la clasificación de atributos. RESULTADO: para la estimación del modelo G-DINA, el tipo de Matriz-Q (es decir, explícita vs. implícita) tiene un impacto mayor al de que la distribución previa esté estructurada. Por el contrario, una distribución previa estructurada influye más sobre la estimación de los parámetros de los ítems y las personas en el caso de los modelos reducidos. CONCLUSIÓN: podemos concluir que el tipo de Matriz-Q tiene un impacto significativo en la estimación de MDC, especialmente en el modelo G-DINA

Estimation approaches in cognitive diagnosis modeling when attributes are hierarchically structured.

BACKGROUND: Although research in cognitive psychology suggests refraining from investigating cognitive skills inisolation, many cognitive diagnosis model (CDM) examples do not take hierarchical attribute structures into account. When hierarchical relationships among the attributes are not considered, CDM estimates may be biased. METHOD: The current study, through simulation and real data analyses, examines the impact of different MMLE-EM approaches on the item and person parameter estimates of the G-DINA, DINA and DINO models when attributes have a hierarchical structure. A number of estimation approaches that can result from modifying either the Q-matrix or prior distribution are proposed. Impact of the proposed approaches on item parameter estimation accuracy and attribute classification are investigated. RESULTS: For the G-DINA model estimation, the Q-matrix type (i.e, explicit vs. implicit) has greater impact than structuring the prior distribution. Specifically, explicit Q-matrices result in better item parameter recovery and higher correct classification rates. In contrast, structuring the prior distribution is more influential on item and person parameter estimates for the reduced models. When prior distribution is structured, the Q-matrix type has almost no influence on item and person parameter estimates of the DINA and DINO models. CONCLUSION: We can conclude that the Q-matrix type has a significant impact on CDM estimation, especially when the estimating model is G-DINA.