ABSTRACT
El razonamiento silogístico es parte importante del razonamiento deductivo. El análisis de las fuentes de error en la resolución de silogismos originó, dentro de la psicología cognitiva, explicaciones como el efecto atmósfera, el sesgo de la figura y la conversión ilícita. En este trabajo se ajustó el modelo LLTM de Fischer para identificar componentes de dificultad de silogismos y estimar sus efectos. Se administraron 46 ítems con un diseño de enlace a tres grupos, con un total de 1074 estudiantes universitarios. Para cada par de premisas se debía escoger un esquema de conclusión y completarlo con los términos extremos o reconocer la falta de conclusión válida. El modelo de Rasch se ajustó sobre un subconjunto de 20 silogismos y se aplicó el modelo LLTM de Fischer. Se identificaron, aumentando la dificultad, cuatro componentes: efecto atmósfera y sesgo de figura (cuando éstos están en dirección contraria a la conclusión o no hay conclusión válida), figura II y figura III. El carácter reversible de la conclusión (modos universal negativo y particular afirmativo) y la falta de conclusión válida fueron componentes facilitadores. La correlación entre las estimaciones de los parámetros de dificultad bajo el modelo de Rasch y el LLTM fue 0,96.
Syllogistic reasoning is an important part of deductive reasoning. In cognitive psychology, the analysis of error sources in solving syllogisms produced explanations such as the atmosphere effect, figure bias and wrong conversion. The Fischer Linear Logistic Test Model (LLTM) was fitted on a set of syllogisms in order to identify their difficulty components and estimate their effects. Forty six items were administered with a link design to three groups of 1074 university students. The task consisted in choosing, for each pair of premises, one conclusion scheme and complete it with the suitable terms, if a valid conclusion existed; otherwise, examinees had to select the option of no valid conclusion. The Rasch model was fitted to a subset of 20 syllogisms on which Fischer's LLTM was applied. Four components were identified that increase syllogistic difficulty: atmosphere effect, figure bias (when they follow the opposite direction of the conclusion or when there is no valid conclusion), figure II and figure III. Two components were found that make the task easier: reversibility of conclusion (universal negative and particular affirmative modes) and lack of valid conclusion. Linear correlation between the estimates of difficulty parameters obtained with Rasch and LLTM models was .96.
ABSTRACT
Se presentan los resultados obtenidos con la aplicación de un modelo de la Teoría de Respuesta al Ítem (TRI) a los reactivos de una prueba que mide la Voluntad de Trabajo (VT). La VT es un rasgo de la personalidad que describe la tendencia de un individuo a asumir sus obligaciones con responsabilidad, automotivación y sin dilaciones, aun cuando estas pudieran no ser de su agrado. La escala que mide la VT se compone de 9 ítemes con formato de respuesta ordenada de 4 valores. Se aplicó el Modelo de Respuesta Graduada (MRG) de Samejima a datos provenientes de la administración de la escala de VT a una muestra de 1.141 universitarios. Previamente se verificó la condición de unidimensionalidad de los ítemes, requerida por el MRG. El análisis de los datos se realizó operando el programa MULTILOG. La estimación de los parámetros de este modelo se efectuó por máxima verosimilitud marginal. Sólo uno de los ítemes mostró un comportamiento inadecuado. La mayoría de los parámetros de localización tendieron a ubicarse en niveles medios bajos de la escala. Los parámetros de discriminación adoptaron valores entre moderados y altos. La Función de Información del Test evidenció que la escala es más precisa para discriminar individuos con niveles medios-bajos del rasgo evaluado. Los resultados revelaron los problemas que presenta la escala de VT y permitieron obtener información útil para orientar la construcción de nuevos reactivos.
This study aims to present the findings obtained from the application of an Item ResponseTheory model (IRT) to the reactive of a Will-to-Work Measuring Test (WW). WW is defined as the individuals' tendency to generate efficient volatile processes that allow them to commit themselves to starting a task and to persisting in its execution by overcoming obstacles until they achieve its materialization with precision and without procrastination. WW is a personality trait that describes the predisposition of an individual to assume duties in a responsible, self-motivated and prompt manner even when such duties may be unappealing. The scale measuring the WW comprises 9 items in polychromous response format (four-point rating scale), with the response options graded. Accordingly, one of the IRT most widely used models was applied for the monetization of ordered polychromous responses: Samejima's Graded Response Model (GRM). The GRM is a generalization of the Two Parameter Logistic Model of Birnbaum. In GRM, a person's probability of responding in category j to a specific item i, Pij(θ), is obtained by subtracting the probability of responding in or below category j-1 from the probability of responding in or below category j.Through the Item Response Category Curves, the GRM allows for the representation of an individual's likelihood to choose each of the item categories based on the level of the latent trait measured. The data from this psychometric test was obtained from a sample of 1,141 university students. The one-dimensional assumption required by the GRM was corroborated through an exploratory analysis of the data factor structure. The local independence assumption was considered to be satisfied after proving the scale one-dimensionality. All analyses based on the IRT were performed by operating the MULTILOG software program. The GRM parameters estimation was carried out through marginal maximum likelihood procedures. A discrimination parameter (a) and three location parameters (b1, b2 and b3) corresponding to thresholds separating the 4 response categories were estimated for each item. The model's goodness-of-fit was studied on an item basis by examining the residue of observed and expected proportions for each of the ordered response categories. The residue obtained was the same as or lower than .01, which led to the conclusion that the model adjustment to the data was satisfactory for all reactive. Despite this, one of the items showed inappropriate behavior. The value of its location parameters turned out to be very different from the expected one and showed high estimation errors when compared against the values obtained for the rest of the items. Most of the location parameters showed midlow WW values and discrimination parameters showed mid-high values (0.73 - 1.73). The instrument's reliability was acceptable if we consider the.75 marginal reliability coefficient obtained from IRT. However, local accuracy measures showed that the test is less reliable when measuring the WW highest levels. In other words, the measure error increases as we attempt to discriminate strongly willful individuals. This means that the WW scale is useful to measure mid-low levels of WW, but less accurate when it comes to individuals whose trait level is higher. It is therefore concluded that it is necessary to raise the number of WW scale items to optimize the instrument quality. It is particularly important to identify construct indicators allowing for a more accurate detection of the highest trait levels. The shortage of the application of IRT models to personality tests as well as the difficulty that the achievement of their exigent assumptions were discussed. The findings showed the problems posed by the WW scale and allowed us to obtain useful information to guide the building of new items.
ABSTRACT
El Child Behavior Checklist (CBCL) es un formulario que permite registrar problemas comportamentales y competencias sociales de niños y adolescentes. Si bien se construyó desde el enfoque clásico de la Teoría de los Test, investigaciones recientes mostraron la utilidad de aplicar la Teoría de Respuesta al Ítem (TRI) para modelizar las variables del CBCL. El desarrollo de este trabajo revisa las consideraciones que se vieron obligados a tomar los respectivos autores para cumplir con las exigencias de los modelos de la TRI. Se describe la información que brindan las Curvas Características de los Ítems y cómo su análisis podría contribuir para optimizar el tiempo de administración del CBCL. Asimismo, se sintetizan los resultados alcanzados en relación con el estudio de la invarianza de las medidas obtenidas a través de adaptaciones transculturales de este formulario.
The Child Behavior Checklist (CBCL) is a questionnaire that allows the assessment of behavioral problems and social competences of children and adolescents. Although it was developed on the basis of the classical approach of the Test Theory, recent investigations have revealed the usefulness of applying the Item Response Theory (IRT) to model the variables of CBCL. This paper revises the considerations made by the respective authors in order to meet the demands of the IRT models. The information provided by the Characteristic Curves of Items is described as well as the manner in which the analysis thereof might contribute to optimize the administration period of CBCL. Furthermore, the invariance of the measures obtained through transcultural adaptations of this questionnaire is analyzed and the results are summarized.
ABSTRACT
El Modelo Logístico Lineal de Rasgo Latente (LLTM) de Fischer permite descomponer la dificultad de un ítem como suma de los efectos debidos a las fuentes de dificultad predichas por las teorías cognitivas, decidir si éstos son significativos y estimarlos. En el estudio que se informa se diseñaron y elaboraron 24 ítemes de razonamiento deductivo teniendo en cuenta las fuentes de dificultad predichas por las teorías cognitivas y por la experiencia educacional. Se administraron a 251 estudiantes de la Carrera de Psicología de la Universidad de Buenos Aires (UBA). Se describe el procedimiento para seleccionar un subconjunto de los mismos al cual ajuste el modelo LLTM. El objetivo de este trabajo fue verificar la pertinencia de las fuentes de dificultad consideradas y orientar la construcción de nuevos ítemes. Se logró un buen ajuste del modelo de Rasch (p = .89) y del modelo LLTM (p = .11) sobre 12 de ellos. Los valores z de Wald resultaron no significativos para los 12 ítemes mencionados. La correlación de los parámetros de dificultad estimados en ambos modelos fue: r = .99. Se consideraron cinco componentes que resultaron significativos. Éstos fueron, en orden decreciente de dificultad, la presencia de: (a) falacias de afirmación del consecuente y de negación del antecedente, (b) negación afectando a la disyunción o conjunción, (c) contenido abstracto o simbólico, (d) cuantificadores y (e) condicionales. Se verificaron los supuestos de invariancia para los parámetros de los ítemes y de los sujetos. Los resultados de esta etapa exploratoria alientan a seguir construyendo ítemes tomando en cuenta las fuentes de dificultad halladas.
The processes involved in deductive reasoning have been studied by Cognitive Psychology since the seventies. Many hypotheses have been put forward to explain the difficulties in solving simple reasoning problems when considering their logical connectives, content and context of the tasks in which they are presented. These hypotheses have led to the development of different theories of reasoning like those based on the formal inference rules approach (Braine, 1978; Braine & O'Brien, 1991; Braine & Rumain, 1983; Rips, 1994), the Pragmatic Schemas Theory (Cheng & Holyoak, 1985) and the theory of semantic mental models (Johnson-Laird, 1983, Johnson-Laird & Byrne, 1991). The componential models of the Item Response Theory have allowed Psychometry to explain said these processes (Embretson, 1994). Thus, for instance, the Linear Logistic Latent Trait Model (LLTM) (Fischer, 1973, 1997), an extension of the Rasch model, expresses item difficulty as the sum of the effects due to the sources of difficulty predicted by the mentioned cognitive theories, which enables us to decide whether these effects are significant and estimate them. In other words, the Rasch item parameters β1 are linearly decomposed in the form where p is the number of components considered, αl -the basic parameters of the model, expresses the difficulty of each component l, w il is the weight of αl with respect to the difficulty of the item i and c is an arbitrary normalization constant. Formula (1) implies that the application of the LLTM model makes sense only when the Rasch model fits the data. On the other hand, if the proposed components were sufficiently exhaustive to explain the differences between the items, formula (1) would allow us, once the basic parameters αl have been estimated, to recover estimates
similar to those obtained directly by the application of the Rasch model, which would imply a high correlation between the parameters estimated under both models. The identification of the difficulty components and the estimate of their effects may be useful to generate items with preset difficulty parameters. This paper describes the process to find a subset of deductive reasoning items to which the LLTM model fits well. A set of 24 deductive reasoning items were designed and created considering the sources of difficulty predicted by cognitive theories and educational practice. The objective is to verify the suitability of such sources and to guide the construction of new items. Each item may consist of one, two or three premises and one conclusion. The individual must decide whether the conclusion is true or false. Nine items are made of concrete content, neutral to avoid any bias due beliefs or opinions, and the remaining ones have abstract or symbolic content. They were administered to a sample of 251 students of Psychology (Universidad de Buenos Aires - Argentina), composed of 24% males and 76% females, whose average age is 22.68 (DS = 6.35). Good fit for the Rasch model (p = .89) and for the LLTM model (p = .11) were obtained for 12 of them. The Wald z-values were not significant for the 12 items mentioned before. The linear correlation between the parameters estimated under both models was r = .99. Five components that turned out to be significant were considered. These components are listed in a decreasing level of difficulty: (a) affirmation of the consequent and negation of antecedent fallacies, (b) negation when affecting disjunction / conjunction, (c) abstract or symbolic content, (d) quantifiers and (e) conditionals. The two assumptions that refer to both, the item and subject parameter invariance, were checked. The results of this exploratory step encourage us to go on constructing new items taking into account the sources of difficulty that were found.
ABSTRACT
Se presenta el inicio del proceso de construcción de la segunda versión de la Prueba de Criterio Lógico (CL). Este constructo se caracterizó como una forma de razonamiento informal basado en el sentido común que supone la implemetación de procesos de análisis efectuados en contextos cotidianos. Se partió de un conjunto inicial de 35 ítems basados en la definición conceptual de CL de Attorresi, Pano, Galibert y Aguerri (1993) que se administró a 996 estudiantes de Psicología. Se realizó una depuración primaria (jueces expertos y pruebas piloto) y secundaria (análisis de componentes principales) del instrumento. Se obtuvo una matriz factorial compuesta por 8 ítems que evalúan la capacidad para interpretar objetivamente un mensaje y para discriminar conclusiones pertinentes de argumentaciones parcialmente adecuadas o irrelevantes. Los ítems seleccionados se analizaron desde la perspectiva clásica y desde el modelo Politómico de Thissen y Steinberg (1997), cuyos respectivos índices de fiabilidad resultaron Alfa de Cronbach = .40 y Confiabilidad Marginal = .75. Se discuten las dificultades que conlleva la construcción de una prueba para evaluar el CL. Se concluye la necesidad de ampliar la cantidad de reactivos para conseguir una operacionalización con propiedades psicométricas más adecuadas que las alcanzadas en la presente investigación.
Subject(s)
Humans , Logic , Psychological Tests , Thinking , UniversitiesABSTRACT
A redução dos distratores pode ser uma ferramenta útil para melhorar a qualidade psicométrica de um teste ou reduzi-lo sem que a validade de conteúdo seja prejudicada. O objetivo deste trabalho é apresentar critérios para a redução dos distratores surgidos da análise das curvas características de um modelo da Teoria de Resposta ao Item: A Múltipla Escolha de Thissen e Steinberg (1997). Foram registrados possíveis comportamentos inadequados dos distratores em dois grupos: curva crescente e curva horizontal. Estas categorias permitem decidir qual a alternativa que é possivel eliminar, baseado no grau de inadequação do funcionamento do distrator. Este procedimento permite ter um conjunto de opções mais homogêneo e mais plausível. Se discute as vantagens de fazer implementações destes critérios em diferentes etapas de elaboração e adaptação de um teste.
The reduction in the number of distractors may be a useful tool to improve the psychometric quality of a test or to shorten it without affecting content validity. The purpose of this study is to put forward criteria for the reduction of distractors as suggested in the characteristic curves analysis of an Item Response Theory model: Thissen and Steinberg's Multiple Choice (1997). Possible unsuitable distractor behaviors were classified in two groups: growing curve and horizontal curve. These categories allow to make a decision on which alternative to remove based on the degree of unsuitability of the distractor. This procedure leads to a more homogeneous whole with more plausible options. It is discussed which advantages there are in the implementation of these guidelines at different moments in the test construction or adaptation.
Subject(s)
Psychological Tests , PsychometricsABSTRACT
A redução dos distratores pode ser uma ferramenta útil para melhorar a qualidade psicométrica de um teste ou reduzi-lo sem que a validade de conteúdo seja prejudicada. O objetivo deste trabalho é apresentar critérios para a redução dos distratores surgidos da análise das curvas características de um modelo da Teoria de Resposta ao Item: A Múltipla Escolha de Thissen e Steinberg (1997). Foram registrados possíveis comportamentos inadequados dos distratores em dois grupos: curva crescente e curva horizontal. Estas categorias permitem decidir qual a alternativa que é possivel eliminar, baseado no grau de inadequação do funcionamento do distrator. Este procedimento permite ter um conjunto de opções mais homogêneo e mais plausível. Se discute as vantagens de fazer implementações destes critérios em diferentes etapas de elaboração e adaptação de um teste(AU)
The reduction in the number of distractors may be a useful tool to improve the psychometric quality of a test or to shorten it without affecting content validity. The purpose of this study is to put forward criteria for the reduction of distractors as suggested in the characteristic curves analysis of an Item Response Theory model: Thissen and Steinberg's Multiple Choice (1997). Possible unsuitable distractor behaviors were classified in two groups: growing curve and horizontal curve. These categories allow to make a decision on which alternative to remove based on the degree of unsuitability of the distractor. This procedure leads to a more homogeneous whole with more plausible options. It is discussed which advantages there are in the implementation of these guidelines at different moments in the test construction or adaptation(AU)
Subject(s)
Psychological Tests , PsychometricsABSTRACT
El objetivo del presente trabajo es realizar un estudio descriptivo y exploratorio para analizar fuentes de dificultad que afectan la evaluación de la validez de los cuatro argumentos condicionales clásicos: Modus Ponens (MP), Modus Tollens (MT), Afirmación del Consecuente (AC) y Negación del Antecedente (NA). Estas fuentes son: tipo de argumento, tipo de contenido, presencia de negaciones y cantidad de sujetos gramaticales que tienen el antecedente y el consecuente de la premisa condicional. Se diseñaron 51 ítems distribuidos en seis pruebas diferentes, administradas a seis grupos de estudiantes universitarios conformando un total de 725 participantes. Los resultados indican que el MP es más fácil que el MT, hallándose además una amplia aceptación de la validez del AC y del NA, siendo más fácil el reconocimiento de la falacia NA que el de AC. Se encuentran efectos del tipo de contenido para todos los argumentos menos para MP, siendo el contenido concreto un facilitador del reconocimiento de la validez. Tanto la falta de negaciones como su presencia en el antecedente y en el consecuente a la vez, son facilitadoras. El número de sujetos gramaticales incluidos en las proposiciones se asocia con la dificultad del argumento en MT y AC, siendo los argumentos de un sujeto más fáciles que los de dos.
Subject(s)
Humans , Cognition , Conditioning, Psychological , Mental Processes , Thinking , StudentsABSTRACT
Se presenta el perfil de los estudiantes de psicología en Voluntad de Trabajo para enriquecer la discusión de los docentes con respecto a la responsabilidad de los alumnos. Por Voluntad de Trabajo se entiende la tendencia a asumir las obligaciones con responsabilidad, automotivación y sin dilaciones. La escala Voluntad de Trabajo consiste de 8 ítems Likert (α = .685) y se administró a 1,141 estudiantes de segundo año de Psicología, UBA, quienes tendieron a puntuar alto. Los adultos (30 años o más) presentaron una media mayor que los jóvenes (18 a 29 años). Se observó interacción Género x Trabajo; los varones que no trabajan puntúan más bajo, no habiendo diferencias entre mujeres que no trabajan y mujeres y varones que trabajan. Se ensayan distintas explicaciones para estos hallazgos y la posible influencia de la deseabilidad social y de los estándares de exigencia en el sesgo de los puntajes obtenidos.
Subject(s)
Humans , Students/psychology , Motivation , Volition , Argentina , Psychological Tests , UniversitiesABSTRACT
Se presenta el proceso de construcción de una escala para medir el rasgo Voluntad de Trabajo en estudiantes universitarios. La Voluntad de Trabajo se caracterizó como la tendencia por la cual una persona se aboca a sus obligaciones realizándolas con responsabilidad, automotivación y precisión. Se administró un conjunto inicial de 21 ítems a 1,141 estudiantes de Psicología de la Universidad de Buenos Aires. Mediante el análisis clásico de ítems y de su funcionamiento diferencial, se obtuvo una escala unidimensional de 8 ítems con un Alfa de Cronbach de .685. La escala mostró capacidad para discriminar individuos que trabajan de los que no lo hacen y una moderada asociación con la asunción de la responsabilidad.
Subject(s)
Humans , Psychological Tests , Volition , Work , StudentsABSTRACT
Se presenta el proceso de construcción de una escala para medir el rasgo Voluntad de Trabajo en estudiantes universitarios. La Voluntad de Trabajo se caracterizó como la tendencia por la cual una persona se aboca a sus obligaciones realizándolas con responsabilidad, automotivación y precisión. Se administró un conjunto inicial de 21 ítems a 1,141 estudiantes de Psicología de la Universidad de Buenos Aires. Mediante el análisis clásico de ítems y de su funcionamiento diferencial, se obtuvo una escala unidimensional de 8 ítems con un Alfa de Cronbach de .685. La escala mostró capacidad para discriminar individuos que trabajan de los que no lo hacen y una moderada asociación con la asunción de la responsabilidad. (AU)
Subject(s)
Humans , Psychological Tests , Work , Volition , StudentsABSTRACT
Este trabajo tiene por objetivo presentar la implementación de una base de datos para la gestión de un Banco de Ítems de Analogías Verbales (o Relaciones) desarrollado a partir de la Teoría de Respuesta al Ítem. Un Banco de Ítems es un conjunto de reactivos que miden una misma variable y cuyos parámetros están calibrados en una misma escala. La construcción de un Banco es un proceso de creación-calibración de ítems que se realiza en etapas. Por tanto cada ítem tiene su historia constituida por los parámetros e índices estadísticos obtenidos en las sucesivas administraciones y por las modificaciones generadas a partir de ellas. Se diseñó una Base de Datos llamada BANITRE (Banco de Ítems de Relaciones) que permite almacenar y recuperar la información correspondiente a cada ítem. Se presentan los aportes que la informática brindó a la construcción de Bancos de Ítems y se describe cómo se diseñó la base; es decir, qué información se consideró pertinente guardar y cómo se la organizó para poder recuperarla en función de las distintas aplicaciones que tiene un Banco de Ítems como son los Tests Adaptativos o los Tests referidos al Criterio. La Base de Datos se desarrolló a partir del programa AccessTM y cuenta con 93 ítems almacenados.
Subject(s)
Humans , Databases as Topic , Psychological TestsABSTRACT
Este trabajo tiene por objetivo presentar la implementación de una base de datos para la gestión de un Banco de Items de Analogías Verbales (o Relaciones) desarrollado a partir de la Teoría de Respuesta al Item. Un Banco de Items es un conjunto de reactivos que miden una misma variable y cuyos parámetros están calibrados en una misma escala. La construcción de un Banco es un proceso de creación-calibración de ítems que se realiza en etapas. Por tanto cada ítem tiene su historia constituida por los parámetros e índices estadísticos obtenidos en las sucesivas administraciones y por las modificaciones generadas a partir de ellas. Se diseñó una Base de Datos llamada BANITRE (Banco de Items de Relaciones) que permite almacenar y recuperar la información correspondiente a cada ítem. Se presentan los aportes que la informática brindó a la construcción de Bancos de Items y se describe cómo se diseñó la base; es decir, qué información se consideró pertinente guardar y cómo se la organizó para poder recuperarla en función de las distintas aplicaciones que tiene un Banco de Items como son los Tests Adaptativos o los Tests referidos al Criterio. La Base de Datos se desarrolló a partir del programa AccessTM y cuenta con 93 ítems almacenados.(AU)
Subject(s)
Humans , Databases as Topic , Psychological TestsABSTRACT
Este trabajo tiene por objetivo presentar la implementación de una base de datos para la gestión de un Banco de Items de Analogías Verbales (o Relaciones) desarrollado a partir de la Teoría de Respuesta al Item. Un Banco de Items es un conjunto de reactivos que miden una misma variable y cuyos parámetros están calibrados en una misma escala. La construcción de un Banco es un proceso de creación-calibración de ítems que se realiza en etapas. Por tanto cada ítem tiene su historia constituida por los parámetros e índices estadísticos obtenidos en las sucesivas administraciones y por las modificaciones generadas a partir de ellas. Se diseñó una Base de Datos llamada BANITRE (Banco de Items de Relaciones) que permite almacenar y recuperar la información correspondiente a cada ítem. Se presentan los aportes que la informática brindó a la construcción de Bancos de Items y se describe cómo se diseñó la base; es decir, qué información se consideró pertinente guardar y cómo se la organizó para poder recuperarla en función de las distintas aplicaciones que tiene un Banco de Items como son los Tests Adaptativos o los Tests referidos al Criterio. La Base de Datos se desarrolló a partir del programa AccessTM y cuenta con 93 ítems almacenados.(AU)
Subject(s)
Humans , Databases as Topic , Psychological TestsABSTRACT
Se lleva a cabo el análisis de ítemes de una prueba denominada de Criterio Lógico en el marco de la Teoría Clásica de Tests (TCT) y mediante el modelo politómico de Thissen y Steinberg de la Teoría de Respuesta al Item. Se comparan los resultados obtenidos y se confirma la hipótesis de que el modelo politómico es más exigente en cuanto a los requerimientos de calidad. Se procesaron los 30 ítemes de esta prueba y los aceptables desde el punto de vista politómico se correspondían con los satisfactorios en la TCT mientras que algunos que podrían aceptarse desde la TCT evidenciaron fallas bajo el análisis politómico. Se ilustran con 3 ejemplos estas situaciones. Veintiséis ítemes resultaron aceptables desde la TCT y sólo 7 cumplieron con los requerimientos de calidad del análisis politómico. El análisis de las curvas de las opciones permitió detectar aquéllas que podrían mejorarse, de qué manera y qué tipo de situaciones evitar en la construcción de los nuevos.
Subject(s)
Humans , Male , Female , Psychological Tests , PsychometricsABSTRACT
Se lleva a cabo el análisis de ítemes de una prueba denominada de Criterio Lógico en el marco de la Teoría Clásica de Tests (TCT) y mediante el modelo politómico de Thissen y Steinberg de la Teoría de Respuesta al Item. Se comparan los resultados obtenidos y se confirma la hipótesis de que el modelo politómico es más exigente en cuanto a los requerimientos de calidad. Se procesaron los 30 ítemes de esta prueba y los aceptables desde el punto de vista politómico se correspondían con los satisfactorios en la TCT mientras que algunos que podrían aceptarse desde la TCT evidenciaron fallas bajo el análisis politómico. Se ilustran con 3 ejemplos estas situaciones. Veintiséis ítemes resultaron aceptables desde la TCT y sólo 7 cumplieron con los requerimientos de calidad del análisis politómico. El análisis de las curvas de las opciones permitió detectar aquéllas que podrían mejorarse, de qué manera y qué tipo de situaciones evitar en la construcción de los nuevos.(AU)
Subject(s)
Humans , Male , Female , Psychological Tests , PsychometricsABSTRACT
Se comparan distintos métodos para analizar el Funcionamiento Diferencial del Ítem (DIF), en términos de sus proporciones de falsos positivos. Éstos son: la prueba normal para la diferencia de los parámetros de dificultad (PN), la prueba χ2 de Mantel-Haenszel y la clasificación en tipo C o no según la sola magnitud del estadístico MH D-DIF (clasificación empírica) -estos últimos de manera estándar y bietápica- y según el criterio del ETS. Se aplicaron a datos simulados sin DIF bajo distintas condiciones de diseño según tamaño de muestra, impacto y configuraciones de los parámetros de los ítems. Los procedimientos bietápicos condujeron a resultados similares a los estándares en presencia de impacto. El método que generalmente arroja menores proporciones de falsos positivos es la PN; le siguen ambos tipos de clasificación las cuales, teniendo el mismo costo computacional que la prueba de Mantel-Haenszel, fallan mucho menos en la detección errónea del DIF
Some methods to analyze Differential Item Functioning (DIF) are compared in terms of their false positive rates, namely the normal test (NT) for the difference of difficulty parameters, the Mantel-Haenszel chi-square test and the item classification in Type C or Not Type C according to the only magnitude of the MH D-DIF statistic (empirical classification) -the last two on both a single-stage and two-stage procedures- and according to ETS criterion. They were applied to data without DIF which were simulated under different design conditions with respect to sample size, impact and item parameter configurations. The results obtained from two-stage and single-stage procedures were similar when impact is present. The method that generally produces lower false positive rates is the NT one, followed by both types of classification which, holding the same computational cost as Mantel-Haenszel test, have a much lower failure rate in the erroneous detection of DIF
Subject(s)
Humans , Models, Statistical , Data Interpretation, Statistical , Psychology, Educational/statistics & numerical data , False Positive Reactions , Epidemiologic Research DesignABSTRACT
El objetivo de este trabajo es presentar el desarrollo de un banco de ítem de razonamiento verbal a partir de la Teoría de Respuesta al Ítem (TRI). Se presenta la TRI y su aplicación en la elaboración de bancos de ítem que posibilitan el diseño de tests adaptativos. Los ítem son de elección múltiple y miden la habilidad para reconocer y discriminar relaciones entre palabras. Un banco de ítem es un conjunto de ítem que miden una misma variable y cuyos parámetros están calibrados (estimados) en una misma escala. La construcción de un banco es un proceso de creación-calibración de ítem que se realiza en sucesivas etapas. Como los sujetos de las muestras son diferentes en cada etapa, los ítem a calibrar deben ser administrados junto con un pequeño grupo de ítem calibrados en etapas anteriores, los cuales sirven de enlace para que todas las estimaciones resulten en la misma escala. La estimación de los parámetros se lleva a cabo por el método de máxima verosimilitud marginal ajustando el modelo logístico de tres parámetros con el programa XCALIBRE. Los análisis del funcionamiento diferencial (Differential Item Functioning - DIF) se basan en el test normal para la diferencia de los parámetros de dificultad, dicha diferencia con sus errores estándar para cada item es proporcionada por BILOG-MG. Se eliminan aquellos que no ajustan al modelo y los que presentan DIF. El banco cuenta hasta el momento con 93 ítem
Subject(s)
Humans , Psychometrics , Language Tests/statistics & numerical dataABSTRACT
El objetivo de este trabajo es presentar el desarrollo de un banco de ítem de razonamiento verbal a partir de la Teoría de Respuesta al Item (TRI). Se presenta la TRI y su aplicación en la elaboración de bancos de ítem que posibilitan el diseño de tests adaptativos. Los ítem son de elección múltiple y miden la habilidad para reconocer y discriminar relaciones entre palabras. Un banco de ítem es un conjunto de ítem que miden una misma variable y cuyos parámetros están calibrados (estimados) en una misma escala. La construcción de un banco es un proceso de creación-calibración de ítem que se realiza en sucesivas etapas. Como los sujetos de las muestras son diferentes en cada etapa, los ítem a calibrar deben ser administrados junto con un pequeño grupo de ítem calibrados en etapas anteriores, los cuales sirven de enlace para que todas las estimaciones resulten en la misma escala. La estimación de los parámetros se lleva a cabo por el método de máxima verosimilitud marginal ajustando el modelo logístico de tres parámetros con el programa XCALIBRE. Los análisis del funcionamiento diferencial (Differential Item Functioning - DIF) se basan en el test normal para la diferencia de los parámetros de dificultad, dicha diferencia con sus errores estándar para cada item es proporcionada por BILOG-MG. Se eliminan aquellos que no ajustan al modelo y los que presentan DIF. El banco cuenta hasta el momento con 93 ítem
Subject(s)
Humans , Psychometrics/methods , Language Tests/statistics & numerical data , Psychometrics/statistics & numerical dataABSTRACT
En este artículo se explicitan los supuestos sobre los que se basan los métodos para inferir los puntajes verdaderos de la teoría clásica de tests. El objetivo del presente trabajo fue fundamentar la deducción de los dos tipos de intervalos de confianza que se mencionan corrientemente en la bibliografía precisando los modelos en los cuales se deducen. Uno de ellos se basa en el error de medición (Caso 1) y el otro en el error de estimación cometido cuando los puntajes verdaderos se predicen con la ecuación de regresión sobre los observados