Dental caries surveys: considerations about reproducibility / Inquéritos de cárie dentária: considerações sobre a reprodutibilidade

Aim:To evaluate the impact of the recording of teeth whose clinical conditions rarely vary (anterior teeth and third molars) in inter-examiner agreement measurements. Methods:Clinical data from 56 schoolchildren, 12 years of age, previously collected by two examiners, according to the "Oral Health Surveys: basic methods" codes and criteria, were analyzed in the present study. The effects from including/excluding such teeth upon reproducibility were measured by general percentage agreement (GPA) and Kappa statistics (к) performances. Results: The exclusion of anterior teeth associated with the inclusion of third molars produced a decrease in GPA that was simultaneous to an increase in the weighted Kappa (nominal data) and simple (dichotomous data) values. The incorrect inclusion of third molars (GPA = 100%; к = + 1) in the reproducibility measurement artificially increased the inter-examiner Kappa values. Conclusion: The inclusion/exclusion of anterior teeth and third molars, seeking a more reliable agreement among examiners, can have a positive or negative impact on the measured reproducibility values. A clear warning about the impact of including third molars in the reproducibility measurement, in the 12 years old age group, should be performed in "Oral Health Surveys: basic methods" and similar manuals.

Objetivo: Avaliar o impacto do registro de dentes anteriores e terceiros molares, cujas condições clínicas pouco variam, sobre as mensurações de concordância inter-examinadores. Métodos: Dados clínicos de 56 escolares de 12 anos de idade, previamente coletados por 2 examinadores, segundo os códigos e critérios expressos no "Levantamentos em Saúde Bucal: métodos básicos" foram analisados neste estudo. Os efeitos da inclusão/exclusão destes dentes sobre a concordância inter-examinadores foram mensurados calculando-se a porcentagem geral de concordância (GPA) e estatística Kappa (к). Resultados:A inclusão de terceiros molares aumentou a GPA para dados dicotomizados ou não. A exclusão de dentes anteriores diminuiu a GPA para dados dicotomizados ou não. Quando associada à inclusão de terceiros molares, sob perfeita concordância (к = +1), os valores de Kappa foram artificialmente aumentados tanto para dados dicotomizados quanto não-dicotomizados. Conclusão: A inclusão/exclusão de dentes anteriores e/ou de terceiros molares, no sentido de se evidenciar melhor as discordâncias entre examinadores, podem impactar positiva ou negativamente sobre a fidedignidade da reprodutibilidade mensurada. Uma advertência clara sobre o impacto da inclusão dos dentes terceiros molares no cálculo da reprodutibilidade, para a faixa etária de 12 anos, deveria estar presente no "Levantamentos em Saúde Bucal: métodos básicos" e manuais semelhantes.

Interexaminer agreement dental caries epidemiological surveys: the importance of disease prevalence in the sample.

OBJECTIVE: To identify desirable characteristics, including different sample sizes and dental caries prevalences, in virtual samples that allow, at the same time, higher values of general agreement percentage (GPA) and Kappa coefficient (κ), under a low confidence interval (CI), in reproducibility studies. METHOD: A total of 384 statistical simulations of inter-examiner calibration, varying sample size (12, 15, 20, 60, 200 and 500 individuals), caries prevalence (30, 50, 60 and 90%) and percentages of positive (PA) and negative (NA) agreement (30, 50, 60 and 90%) were undertaken. GPA and κ were used to measure reproducibility and define deviation between them. RESULTS: The sample of 60 individuals, under caries prevalence of 50%, PA and NA of 90%, presented a GPA and Kappa values of 90 and 80%, respectively, a relative small confidence interval (95%CI 0.65 - 0.95) and a GPA/Kappa deviation of 10.00. CONCLUSION: A virtual sample of 60 individuals, under caries prevalence of 50%, seems feasible to produce a satisfactory interexaminer agreement at epidemiological conditions. However, epidemiological studies to corroborate or refute this assertion are necessary.

Interexaminer agreement dental caries epidemiological surveys: the importance of disease prevalence in the sample / Concordância interexaminador em levantamentos epidemiológicos de cárie dentária: a importância da prevalência da doença na amostra

Abstract: Objective: To identify desirable characteristics, including different sample sizes and dental caries prevalences, in virtual samples that allow, at the same time, higher values of general agreement percentage (GPA) and Kappa coefficient (κ), under a low confidence interval (CI), in reproducibility studies. Method: A total of 384 statistical simulations of inter-examiner calibration, varying sample size (12, 15, 20, 60, 200 and 500 individuals), caries prevalence (30, 50, 60 and 90%) and percentages of positive (PA) and negative (NA) agreement (30, 50, 60 and 90%) were undertaken. GPA and κ were used to measure reproducibility and define deviation between them. Results: The sample of 60 individuals, under caries prevalence of 50%, PA and NA of 90%, presented a GPA and Kappa values of 90 and 80%, respectively, a relative small confidence interval (95%CI 0.65 - 0.95) and a GPA/Kappa deviation of 10.00. Conclusion: A virtual sample of 60 individuals, under caries prevalence of 50%, seems feasible to produce a satisfactory interexaminer agreement at epidemiological conditions. However, epidemiological studies to corroborate or refute this assertion are necessary.

Resumo: Objetivo: Identificar características desejáveis, considerando diferentes tamanhos de amostra e prevalências de cárie em amostras virtuais que possibilitem, simultaneamente, altos valores de porcentagem geral de concordância (PGC) e do coeficiente Kappa (κ), sob baixo intervalo de confiança (IC), em estudos de reprodutibilidade. Método: Ao total, 384 simulações estatísticas de calibração interexaminador, variando o tamanho da amostra (12, 15, 20, 60, 200 e 500 indivíduos), a prevalência de cárie (30, 50, 60 e 90%) e as taxas de concordâncias positiva (CP) e negativa (CN) (30, 50, 60 e 90%) foram realizadas. Os valores de PGC e κ foram utilizados para mensurar a reprodutibilidade e o desvio entre as respectivas medidas PGC/Kappa. Resultados: A amostra de 60 indivíduos, com prevalência de cárie de 50% e taxas de concordância positiva e negativa de 90%, apresentou um valor de PGC = 90%, Kappa = 80%, um intervalo de confiança (IC95% 0,65 - 0,95) relativamente pequeno e um desvio PGC/Kappa de 10,00. Conclusão: A amostra virtual de 60 indivíduos parece ser viável, em condições epidemiológicas, para produzir uma concordância interexaminadores satisfatória. Contudo, estudos epidemiológicos para corroborar ou refutar esta conclusão são necessários.