Estudo de fidedignidade do avaliador em provas de compreensão leitora e oral / Inter-rater reliability investigation for reading and oral comprehension tasks / Investigación de la fiabilidad entre evaluadores en pruebas de comprensión lectora y oral

RESUMO

A fidedignidade do avaliador refere-se ao grau em que diferentes avaliadores empregam os mesmos critérios na correção de testes. Neste estudo, investiga-se a fidedignidade do avaliador de uma prova de compreensão leitora e outra de compreensão oral. A Prova de Compreensão Leitora (PCL) é composta por 15 textos, divididos em duas aplicações (Forma A e Forma B), e contendo questões abertas (respondidas oralmente). A Prova de Compreensão Oral (PCO) é formada por oito questões orais a uma narrativa ouvida (gravação). A amostra foi composta por 218 crianças do 2º ao 5º ano de escolas públicas de São Paulo (73 na Forma A; 56 na Forma B; 89 na PCO) e nove avaliadores (três para cada prova). A concordância foi calculada por meio do Fleiss de Kappa. A maioria dos itens apresentou níveis de concordância adequados, atestando para a homogeneidade na correção das duas Provas.

ABSTRACT

Inter-rater reliability is the degree to which different examiners employ the same criteria for evaluating test results. The present study aims to investigate the inter-rater reliability for two tasks, one of reading comprehension and another for oral comprehension. The Reading Comprehension Task consists of 15 texts divided into two blocks (Form A and Form B), followed by orally answered openended questions. The Oral Comprehension Task (OCT) contains eight open-ended questions for a narrative (orally answered and recorded). The sample consisted of 218 children from 2nd to 5th year of elementary school in Sao Paulo (73 in Form A; 56 in Form B; 89 in OCT) and nine examiners (three for each form). Fleiss’ Kappa was used to obtain the reliability index. Most items had adequate levels of agreement, which evidenced the consistency of the correction system.

RESUMEN

La fiabilidad del evaluador se refiere al grado en que los diferentes evaluadores emplean los mismos criterios en la corrección de los testes. En este estudio, se investiga la fiabilidad del evaluador en prueba de comprensión lectora y otra de comprensión oral. La prueba de comprensión lectora (PCL) consta de 15 textos, divididos en dos bloques de aplicación (Formulario A y Formulario B) y contienen preguntas abiertas relacionadas. La Prueba de Comprensión Oral (PCO) consta de ocho cuestiones orales sobre una narrativa oída (grabación). La muestra fue compuesta por 218 niños de segundo a quinto primaria de escuelas públicas de San Pablo (73 en el Formulario A; 56 en el Formulario B; 89 en la PCO) y nueve evaluadores (tres para cada prueba). Se calculó el acuerdo con Fleiss de Kappa. La mayoría de los ítems presentó niveles adecuados de concordancia, indicando homogeneidad en la corrección de las dos pruebas.