Validação de métricas para avaliar a qualidade em instituições públicas de ensino superior / Metrics validation to evaluate quality in public higher education institutions

ABSTRACT

Introduction: In public higher education, the complexity of evaluating goals to be reached and the uncertainties about metrics adopted by the country hinder the implementation of evaluation processes. Objective: To build and validate the content of quality indicators for evaluation of Higher Education Institutions (HEIs). Method:Methodological study developed in six stages, in which 10 HEI judges participated, between 2015 and 2018. The Delphi method was employed, and the Content Validity Ratio was calculated, with a value higher or equal to 0.62. A total of 46 indicators were proposed in the following subdimensions: Teaching (16), Research, Extension, Knowledge and Innovation (15), and Management (15). Results: Content validity evidence was found for 38 indicators, 11 of which related to structure, 10 to processes, and 17 to results, with the Management subdimension being the one with the lowest CVR values. Further Considerations: Validity evidence was found for a matrix of 38 quantitative indicators formulated as mathematical equations, which can be systematically applied to internal institutional evaluations to complement qualitative ones.

RESUMO

Introdução: No campo da educação superior pública, a complexidade em avaliar o alcance dos objetivos institucionais e as incertezas acerca das métricas adotadas pelo Estado prejudicam a implementação de processos avaliativos. Objetivo: Construir e validar o conteúdo de indicadores de qualidade para avaliação de Instituições Públicas de Ensino Superior (IES). Método: Estudo metodológico desenvolvido em seis etapas, coma participação de 10 juízes de IES, entre 2015 e 2018. Empregou-se a Técnica Delphi e o cálculo do Content Validity Ratio, com valor maior ou igual a 0,62. Foram propostos 46 indicadores nas subdimensões: Ensino (16); Pesquisa, extensão, conhecimento e inovação (15); e Gestão (15). Resultados: Constata-se a evidência de validade de conteúdo de 38 indicadores, dos quais 11 de estrutura, 10 de processos e 17 de resultados, sendo a subdimensão Gestão a que obteve menores valores de CVR. Considerações Finais: Obtiveram-se evidências de validade de uma matriz de 38 indicadores quantitativos, formulados como equações matemáticas, que podem ser utilizados sistematicamente na avaliação interna institucional, complementando a avaliação qualitativa.