Precisão entre juízes para um novo sistema de codificação do teste de Wartegg / Precision between judges for a new Wartegg test codification system

RESUMO

Dentre os parâmetros psicométricos necessários para o uso de testes psicológicos está a precisão que, de forma geral, indica a consistência dos resultados. Uma das formas de verificação deste parâmetro é a concordância entre juízes, expressa num índice que informa o grau de concordância de protocolos avaliados por diferentes profissionais. Com o objetivo de verificar a concordância entre juízes para o Teste de Wartegg, o presente estudo contou com 4 juízes avaliando 8 protocolos de forma independente (às cegas). Os resultados indicaram coeficientes kappa variando de 0,23 à 0,74 para os protocolos, sendo que, para algumas variáveis os valores foram mais altos. De forma geral, embora tenham se encontrado bom grau de concordância entre as codificações dos juízes para alguns critérios, outros demonstraram-se não estar claros de forma suficiente. Neste sentido, se fazem necessárias reformulações dos critérios evidenciados como ruins a fim de favorecer o desenvolvimento do sistema proposto.

ABSTRACT

Among necessary psychometric parameters for psychological testing is precision, which, in general, indicates results consistency. Agreement between judges is a way to verify that parameter, expressed in an index that informs the degree of protocols evaluated by different professionals. Aiming to check the agreement between judges for Wartegg test, this study counted on four judges evaluating eight protocols independently (blind review). Results indicates kappa coefficients varying from 0,23 to 0,74 for the protocols, and, for some variables values where higher. In a general way, although a good degree of agreement might be found trough judges evaluations for some criteria, others showed not being clear enough. In this sense, it is needed to reformulate those criteria which were evidenced as bad ones in order to improve the proposed system.