Observational data analysis using generalizability theory and general and mixed linear models: an empirical study of infant learning and development / Análisis de datos observacionales mediante la Teoría de la Generalizabilidad y la utilización del Modelo Lineal General y Mixto: Un estudio empírico del desarrollo y aprendizaje infantil

ABSTRACT

Accurate evaluation of early childhood competencies is essential for favoring optimal development, as the first years of life form the foundations for later learning and development. Nonetheless, there are still certain limitations and deficiencies related to how infant learning and development are measured. With the aim of helping to overcome some of the difficulties, in this article we describe the potential and advantages of new data analysis techniques for checking the quality of data collected by the systematic observation of infants and assessing variability. Logical and executive activity of 48 children was observed in three ages (18, 21 and 24 months) using a nomothetic, follow-up and multidimensional observational design. Given the nature of the data analyzed, we provide a detailed methodological and analytical overview of generalizability theory from three perspectives linked to observational methodology: intra- and inter-observer reliability, instrument validity, and sample size estimation, with a particular focus on the participant facet. The aim was to identify the optimal number of facets and levels needed to perform a systematic observational study of very young children. We also discuss the use of other techniques such as general and mixed linear models to analyze variability of learning and development. Results show how the use of Generalizability Theory allows controlling the quality of observational data in a global structure integrating reliability, validity and generalizability (AU)

RESUMEN

Una adecuada evaluación de las competencias infantiles tempranas es esencial para potenciar un desarrollo óptimo, pues los primeros años de vida son la base de todo el desarrollo y aprendizaje posterior. Sin embargo, todavía existen ciertas limitaciones y deficiencias en el ámbito de la medición del desarrollo y aprendizaje infantil. Con el objetivo último de contribuir a la mejora de esta situación, este trabajo presenta las posibilidades y ventajas que ofrecen nuevas técnicas de análisis de datos, tanto para controlar la calidad de los datos infantiles registrados a través de observación sistemática como para analizar su variabilidad. Se ha observado en tres edades diferentes (18, 21 y 24 meses) la actividad lógica y ejecutiva de 48 niños usando un diseño observacional nomotético, de seguimiento y multidimensional. Dadas las particularidades de los datos del estudio que presentamos, desde el punto de vista metodológico y su análisis, realizamos análisis pormenorizados a través de la Teoría de la Generalizabilidad en tres vertientes posibles en un estudio observacional Análisis de la fiabilidad intra e interobservadores, Análisis de la validez del instrumento de observación y Estimación muestral de las facetas estudiadas (en concreto, la de participantes). De esta forma, se pretende optimizar el número de facetas y niveles necesarios para llevar a cabo un estudio de tales características. Además, se utilizan otras técnicas analíticas para conocer la variabilidad del desarrollo y aprendizaje infantil, como son el Modelo Lineal General y el Modelo MIXED. Los resultados indican cómo el uso de la Teoría de la Generalizabilidad permite controlar la calidad de los datos observacionales en una estructura única que integra la fiabilidad, validad y generalizabilidad (AU)