Metodología de la evaluación de programas en servicios sociales / No disponible

Un primer acercamiento al ámbito de evaluación de programas en servicios sociales puede dar la impresión de constituir un proceso perfectamente delimitado. No obstante al profundizar en la problemática nos encontramos ante una gran dispersión teórica, lo cual revierte en la existencia de grandes limitaciones metodológicas. Todo ello implica que el ejercicio profesional en evaluación de programas de intervención no encuentre un marco de referencia claro en el que fundamentar sus actuaciones. En este sentido, el artículo presenta, por un lado, un planteamiento de diseño de evaluación general en el que enmarcar la secuenciación de una serie de fases en función del desarrollo coordinado que debe experimentar el/los programa/s de intervención concreto/s sobre el/lós que se actúa y, por otro, la estructura de funcionamiento del Servicio en la que se integra/n éste/os (AU)

Although a first approach to evaluation programs in social services may appear to be a well defined process, after studying this issue we found a wide theoretical dispersion, which implies very important methodological restrictions. Because of this, professional practice in evaluation doesn’t have a clear framework, in which to ground its actions. This anide introduces a general evaluation design consisting of the sequence of several stages depending on the coordinated development that specific intervention program/s must have, and the service functioning structure in which the intervention program/s are integrated (AU)

Evaluación de la calidad universitaria: validez de contenido / Evaluation of quality in higher education: content validity

El cambio de perspectiva sobre la educación superior en España ha posibilitado el desarrollo de nuevos marcos jurídicos que dan mayor autonomía a las universidades. Al mismo tiempo los gobiernos, tanto nacional como autonómicos, necesitan recabar información sobre cómo se gestiona dicha autonomía. Esta situación ha impulsado la necesidad de definir el constructo de calidad en la universidad y de generar procedimientos adecuados para su evaluación. El objetivo de este trabajo es por una parte, justificar cómo los sistemas de indicadores suponen una posible solución a esta problemática, y por otra analizar empíricamente la validez de contenido de un conjunto de indicadores seleccionados a partir de una revisión bibliográfica. El proceso seguido en el estudio empírico fue el siguiente: se seleccionaron indicadores que hacen referencia a distintos aspectos relacionados con la educación superior (enseñanza, investigación y gestión); se consultó a un grupo de expertos sobre la adecuación de dichos indicadores y se utilizó el índice de Osterlind (1989) como una forma de operativizar el consenso entre los expertos respecto a la idoneidad de los indicadores seleccionados para evaluar la calidad universitaria. Se presentan los indicadores obtenidos en el análisis como una alternativa posible para el estudio de la calidad universitaria (AU)

The new conception of higher education in Spanish society and in its national, regional and local governments has generated laws that give more independence to universities. Because of this situation, governments need information about how universities use that independence. This context has stressed the need of defining the construct of quality in higher education and the difficulty that implementing an appropriate evaluation procedure entails. This paper has two aims: first, to justify that systems of indicators are a plausible alternative to both problems, and second, to study the content validity of a group of indicators chosen from the literature. We have carried out the following process in the empirical study: we selected some indicators related to higher education (about teaching, research, and services); we consulted experts about the congruence of these indicators, and finally we used the Osterlind’s index (1989) to operationalize the consensus between experts about their judgments. We describe the quality indicators obtained in this analysis as a possible alternative to study quality in higher education (AU)

Validez en evaluación de programas: una comparación de técnicas de análisis basadas en modelos estructurales / Validity in program evaluation: A comparative approach

En el presente trabajo, a partir de un análisis conceptual de la validez en evaluación de programas, se presenta un estudio comparativo de las implicaciones e interacciones que tienen una serie de técnicas de análisis para potenciar el logro de la validez en evaluación. Concretamente se aplica la teoría de la generalizabilida, los modelos de ecuaciones estructurales y los modelos multinivel sobre los datos recogidos en la evaluación del programa de formación continua del personal de Administración y Servicios de la Universidad de Sevilla (AU)

Begining from a conceptual analysis of program evalution validity, this paper introduces a comparative study of implications and interrrelationships of different statistical techniques in order to enhance validity in program evaluation. Generalizability theory, hierarquical linear analysis and structural equation modeling are applied to an evalution of a training program of administrative staff in University of Sevilla (AU)

Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez / Construct validity: The use of factor analysis

Una práctica habitual para obtener evidencia de validez de modelos teóricos basados en los resultados del Análisis Factorial Exploratorio -EFA-, (Arruda et. al., 1996), suele ser utilizar el Análisis Factorial Confirmatorio (CFA) para demostrar la validez de la estructura factorial previamente obtenida con EFA y por consiguiente la validez de las deducciones teóricas inferidas del mismo, es decir, los modelos obtenidos con EFA suelen ser validados con CFA. El objetivo de este artículo es incidir en la posible redundancia de este procedimiento usado en validez de constructo. Se intenta mostrar que generalmente CFA siempre validará las soluciones obtenidas previamente mediante EFA, dado que la estructura factorial resultante de EFA es una de las posibles soluciones que se derivan de la matriz de datos y, por consiguiente, es previsible que en otra muestra extraída de la misma población de referencia, se confirme la estructura obtenida en la anterior. En este sentido, el binomio EFA-CFA, puede ser considerado como un pseudoprocedimiento para la validación de constructo (AU)

The results of exploratory factor analysis (EFA) are usually used to deduce theoretical models (Arruda et. al., 1996) and then confirmatory factor analysis (CFA) is used to demonstrate the construct validity of those deductions. Therefore, models obtained from the former are ussually validated using latter. The object of this study is to demonstrate the redundancy of this procedure in construct validation. It will be shown that, usually, CFA will validate solutions obtained using EFA. This article emphasizes that this type of procedure does not offer definitive information about the construct validity of the solutions obtained using exploratory factor analysis. In this sense, the EFA-CFA binomial could be considered as a pseudo construct validation (AU)