Análisis comparativo de tres enfoques para evaluar el acuerdo entre observadores / Comparative analysis of three approaches for rater agreement

RESUMEN

En este trabajo se realiza un análisis comparativo de tres enfoques generales para evaluar el acuerdo entre observadores que originan tres tipos diferentes de medidas descriptivas (coeficientes sigma, pi y kapa), basadas en modelos loglineales y basadas en modelos con mezcla (mixture) de distribuciones. Aunque los enfoques loglineal y mixture asumen un concepto de corrección del azar diferente, la flexibilidad de ambos enfoques permite utilizar sus parámetros para realizar un análisis en profundidad de las pautas de acuerdo y desacuerdo. Se demuestra que las medidas descriptivas pueden obtenerse introduciendo restricciones al modelo loglineal de cuasi-independencia. Y que aunque los enfoques loglineal y mixture tienen una interpretación similar cuando todos los parámetros diagonales son positivos, su interpretación difiere en caso contrario debido a la diferente escala de medida utilizada

ABSTRACT

This work is a comparative analysis of three general approaches for rater agreement measurement which produce three different statistical coefficients descriptive (sigma,pi y kappa coefficients), based on log-linear models and on mixture models. Although loglinear and mixture approaches assume a different concept of chance correction, their flexibility allow using its parameters to analyze agreement and disagreement patterns. We show that all descriptive measures can also be obtained by introducing constraints to a basic loglinear (or mixture) quasi-independence model. Due to the different measurement scale used, both loglinear and mixture approaches have a similar interpretation when diagonal parameters are positive but a different interpretation otherwise