Resumo
Multiple pairwise comparison tests of treatment means are of great interest in applied research. Two modifications for the Tukey test were proposed. The power of unilateral and bilateral Student, Waller-Duncan, Duncan, SNK, REGWF, REGWQ, Tukey, Bonferroni, Sidak, unilateral Dunnet statistical tests and the modified tests, Sidak, Bonferroni 1 and 2, Tukey 1 and 2, has been compared using the Monte Carlo method. Data were generated for 600 experiments with eight treatments in a randomized block design, of which 400 had four and 200 eight blocks. The differences between the treatment means in relation to the control were 30%, 20%, 15%, 10%, 5%. Two extra treatments did not differ from the control. A coefficient of variation of 10% and a probability Type I error of = 0.05 were adopted. The power of all the tests decreased when the differences to the control, decreased. The unilateral and bilateral Student t, Waller-Duncan and Duncan tests showed greater number of significative differences, followed by unilateral Dunnett, modified Sidak, modified Bonferroni 1 and 2, modified Tukey 1, SNK, REGWF, REGWQ, modified Tukey 2, Tukey, Sidak and Bonferroni. There is great loss of efficiency for all tests in relation to the unilateral Student t test for each difference of the treatment to the control, when the differences between means decrease. The modified tests were always more efficient than their original ones.
Testes de comparações múltiplas entre médias de tratamentos são de grande interesse na pesquisa aplicada. Duas propostas de modificação do teste de Tukey são apresentadas e, usando-se simulação pelo método Monte Carlo, foi comparado o poder dos testes estatísticos: Student unilateral e bilateral, Waller-Duncan, Duncan, SNK, REGWF, REGWQ, Tukey, Bonferroni, Sidak, Dunnet unilateral, e dos testes modificados de Sidak, Bonferroni 1 e 2 e Tukey 1 e 2. Foram gerados dados para 600 experimentos em um delineamento casualizado em blocos com oito tratamentos, sendo 400 com quatro repetições e 200 com oito repetições. Foram adotados coeficiente de variação de 10% e erro tipo I com probabilidade = 0.05. As diferenças entre as médias dos tratamentos e o controle foram de 30%, 20%, 15%, 10%, 5%; sendo, ainda incluídos, dois tratamentos que, parametricamente, não diferiram da média do controle. Para todos os testes, o poder decresceu quando as diferenças das médias em relação à média do controle decresceram; pela ordem, t de Student unilateral, t de Student bilateral e Waller-Duncan apresentaram maior número de diferenças significativas; seguindo-se Duncan, Dunnett unilateral, Sidak modificado e Bonferroni modificados 1 e 2 e Tukey modificado 1, SNK, REGWF, REGWQ, Tukey modificado 2 e os testes de Tukey, Sidak e Bonferroni. Houve grande perda de eficiência para todos os testes em relação ao teste t de Student unilateral, usado para comparar cada tratamento com o controle, quando o valor da diferença entre médias diminui. Os testes modificados foram sempre mais eficientes do que os respectivos testes originalmente propostos.
Resumo
Multiple pairwise comparison tests of treatment means are of great interest in applied research. Two modifications for the Tukey test were proposed. The power of unilateral and bilateral Student, Waller-Duncan, Duncan, SNK, REGWF, REGWQ, Tukey, Bonferroni, Sidak, unilateral Dunnet statistical tests and the modified tests, Sidak, Bonferroni 1 and 2, Tukey 1 and 2, has been compared using the Monte Carlo method. Data were generated for 600 experiments with eight treatments in a randomized block design, of which 400 had four and 200 eight blocks. The differences between the treatment means in relation to the control were 30%, 20%, 15%, 10%, 5%. Two extra treatments did not differ from the control. A coefficient of variation of 10% and a probability Type I error of = 0.05 were adopted. The power of all the tests decreased when the differences to the control, decreased. The unilateral and bilateral Student t, Waller-Duncan and Duncan tests showed greater number of significative differences, followed by unilateral Dunnett, modified Sidak, modified Bonferroni 1 and 2, modified Tukey 1, SNK, REGWF, REGWQ, modified Tukey 2, Tukey, Sidak and Bonferroni. There is great loss of efficiency for all tests in relation to the unilateral Student t test for each difference of the treatment to the control, when the differences between means decrease. The modified tests were always more efficient than their original ones.
Testes de comparações múltiplas entre médias de tratamentos são de grande interesse na pesquisa aplicada. Duas propostas de modificação do teste de Tukey são apresentadas e, usando-se simulação pelo método Monte Carlo, foi comparado o poder dos testes estatísticos: Student unilateral e bilateral, Waller-Duncan, Duncan, SNK, REGWF, REGWQ, Tukey, Bonferroni, Sidak, Dunnet unilateral, e dos testes modificados de Sidak, Bonferroni 1 e 2 e Tukey 1 e 2. Foram gerados dados para 600 experimentos em um delineamento casualizado em blocos com oito tratamentos, sendo 400 com quatro repetições e 200 com oito repetições. Foram adotados coeficiente de variação de 10% e erro tipo I com probabilidade = 0.05. As diferenças entre as médias dos tratamentos e o controle foram de 30%, 20%, 15%, 10%, 5%; sendo, ainda incluídos, dois tratamentos que, parametricamente, não diferiram da média do controle. Para todos os testes, o poder decresceu quando as diferenças das médias em relação à média do controle decresceram; pela ordem, t de Student unilateral, t de Student bilateral e Waller-Duncan apresentaram maior número de diferenças significativas; seguindo-se Duncan, Dunnett unilateral, Sidak modificado e Bonferroni modificados 1 e 2 e Tukey modificado 1, SNK, REGWF, REGWQ, Tukey modificado 2 e os testes de Tukey, Sidak e Bonferroni. Houve grande perda de eficiência para todos os testes em relação ao teste t de Student unilateral, usado para comparar cada tratamento com o controle, quando o valor da diferença entre médias diminui. Os testes modificados foram sempre mais eficientes do que os respectivos testes originalmente propostos.
Resumo
Results of practical importance had been discarded testing formulated hypothesis with the aid of statistical analysis of experimental data because of the power of the utilized test. This study compares the power of two Bonferroni's Modified and one Sidak's Modified tests with known tests analyzing 1200 simulated experiments. All differences of means were obtained in relation to the mean of the adopted control to guarantee parametrical magnitude of mean differences. Student's test (type I comparisonwise error) and Waller-Duncan's (Bayesian error) showed the highest percentage of significative differences, followed by Duncan's, BM2, SiM, BM1, DunnettU's, SiN, BN, Dunnettu's, SNK's, REGWF's, REGWQ's, Tukey's, Sidak's and Bonferroni's tests. For differences equal to zero, Student's and Waller-Duncan's test exhibit 5% frequency of rejection of the null hypothesis, in accordance the nominal error I adopted (alpha = 0.05). All other tests had values below 0.05, generally ranging on 0.01 to 0.02 or less. Depending of the number of zero differences and considering the type I experimentwise error I, Student's, Waller-Duncan's and Duncan's tests showed crescent values of errors (> 0.05), proportional to the number of null differences included in the experiment; all other tests exhibit showed of type I experimentwise error 0.05, most nearing 0.01-0.02 or less. Efficiency of the three "Modified Tests" was close to DunnettU's test, but higher than the other testes of type I experimentwise error nature (MEER).
Para a comprovação de hipóteses, experimentos são conduzidos e os resultados obtidos analisados estatisticamente. Entende-se que, em função dos testes utilizados, muito material de importância prática tem sido descartado. Neste estudo, dois testes de Bonferroni Modificados e um teste de Sidak Modificado foram desenvolvidos, o poder desses testes avaliados através da simulação de 1.200 experimentos e sua eficiência comparada às de testes de significância mais conhecidos. As diferenças das médias foram, todas elas, obtidas em relação à média do tratamento controle de forma a garantir, parametricamente, a magnitude das diferenças. O teste de Student (do tipo erro I, por comparação), Waller-Duncan teste (erro de natureza bayesiana) mostraram mais alta porcentagem de diferenças significativas seguida pelos testes de Duncan, BM2, SiM, BM1, Dunnett, SNK, REGWF, REGWQ, Tukey, Sidak e Bonferroni. Para diferenças iguais a zero, os testes de Student, Waller-Duncan exibem frequência de rejeição da hipótese nula próxima a 0,05, de acordo com o erro tipo I adotado (alfa = 0,05). Os outros testes exibem valores 0,05, quase todos com valores entre 0,01 a 0,02 ou menos. Considerando o erro experimental tipo I, por experimento, os testes de Student, Waller-Duncan e Duncan exibem, para diferenças nulas, valores crescentes de erro I, proporcional ao número de diferenças nulas incluidas nos experimentos; os demais testes mostram valores para o erro "experimentwise" 0,05 muitos deles entre 0,01 e 0,02 ou menos. Os três "Testes Modificados" tiveram eficiência próxima do teste de Dunnett unilateral, porém maior eficiência que os demais testes do tipo "experimentwise" (MEER).
Resumo
Results of practical importance had been discarded testing formulated hypothesis with the aid of statistical analysis of experimental data because of the power of the utilized test. This study compares the power of two Bonferroni's Modified and one Sidak's Modified tests with known tests analyzing 1200 simulated experiments. All differences of means were obtained in relation to the mean of the adopted control to guarantee parametrical magnitude of mean differences. Student's test (type I comparisonwise error) and Waller-Duncan's (Bayesian error) showed the highest percentage of significative differences, followed by Duncan's, BM2, SiM, BM1, DunnettU's, SiN, BN, Dunnettu's, SNK's, REGWF's, REGWQ's, Tukey's, Sidak's and Bonferroni's tests. For differences equal to zero, Student's and Waller-Duncan's test exhibit 5% frequency of rejection of the null hypothesis, in accordance the nominal error I adopted (alpha = 0.05). All other tests had values below 0.05, generally ranging on 0.01 to 0.02 or less. Depending of the number of zero differences and considering the type I experimentwise error I, Student's, Waller-Duncan's and Duncan's tests showed crescent values of errors (> 0.05), proportional to the number of null differences included in the experiment; all other tests exhibit showed of type I experimentwise error 0.05, most nearing 0.01-0.02 or less. Efficiency of the three "Modified Tests" was close to DunnettU's test, but higher than the other testes of type I experimentwise error nature (MEER).
Para a comprovação de hipóteses, experimentos são conduzidos e os resultados obtidos analisados estatisticamente. Entende-se que, em função dos testes utilizados, muito material de importância prática tem sido descartado. Neste estudo, dois testes de Bonferroni Modificados e um teste de Sidak Modificado foram desenvolvidos, o poder desses testes avaliados através da simulação de 1.200 experimentos e sua eficiência comparada às de testes de significância mais conhecidos. As diferenças das médias foram, todas elas, obtidas em relação à média do tratamento controle de forma a garantir, parametricamente, a magnitude das diferenças. O teste de Student (do tipo erro I, por comparação), Waller-Duncan teste (erro de natureza bayesiana) mostraram mais alta porcentagem de diferenças significativas seguida pelos testes de Duncan, BM2, SiM, BM1, Dunnett, SNK, REGWF, REGWQ, Tukey, Sidak e Bonferroni. Para diferenças iguais a zero, os testes de Student, Waller-Duncan exibem frequência de rejeição da hipótese nula próxima a 0,05, de acordo com o erro tipo I adotado (alfa = 0,05). Os outros testes exibem valores 0,05, quase todos com valores entre 0,01 a 0,02 ou menos. Considerando o erro experimental tipo I, por experimento, os testes de Student, Waller-Duncan e Duncan exibem, para diferenças nulas, valores crescentes de erro I, proporcional ao número de diferenças nulas incluidas nos experimentos; os demais testes mostram valores para o erro "experimentwise" 0,05 muitos deles entre 0,01 e 0,02 ou menos. Os três "Testes Modificados" tiveram eficiência próxima do teste de Dunnett unilateral, porém maior eficiência que os demais testes do tipo "experimentwise" (MEER).