Assessing the reliability of ChatGPT: a content analysis of self-generated and self-answered questions on clear aligners, TADs and digital imaging
Dental press j. orthod. (Impr.)
; 28(5): e2323183, 2023. tab
Article
in En
|
LILACS-Express
| LILACS, BBO
| ID: biblio-1520822
Responsible library:
BR1.1
ABSTRACT
ABSTRACT Introduction:
Artificial Intelligence (AI) is a tool that is already part of our reality, and this is an opportunity to understand how it can be useful in interacting with patients and providing valuable information about orthodontics.Objective:
This study evaluated the accuracy of ChatGPT in providing accurate and quality information to answer questions on Clear aligners, Temporary anchorage devices and Digital imaging in orthodontics.Methods:
forty-five questions and answers were generated by the ChatGPT 4.0, and analyzed separately by five orthodontists. The evaluators independently rated the quality of information provided on a Likert scale, in which higher scores indicated greater quality of information (1 = very poor; 2 = poor; 3 = acceptable; 4 = good; 5 = very good). The Kruskal-Wallis H test (p< 0.05) and post-hoc pairwise comparisons with the Bonferroni correction were performed.Results:
From the 225 evaluations of the five different evaluators, 11 (4.9%) were considered as very poor, 4 (1.8%) as poor, and 15 (6.7%) as acceptable. The majority were considered as good [34 (15,1%)] and very good [161 (71.6%)]. Regarding evaluators' scores, a slight agreement was perceived, with Fleiss's Kappa equal to 0.004.Conclusions:
ChatGPT has proven effective in providing quality answers related to clear aligners, temporary anchorage devices, and digital imaging within the context of interest of orthodontics.RESUMO
RESUMO Introdução:
A Inteligência Artificial (IA) é uma ferramenta que já faz parte de nossa realidade, e esta é uma oportunidade de entendermos como ela pode ser útil na interação com os pacientes e no fornecimento de informações valiosas sobre Ortodontia.Objetivo:
O objetivo deste estudo foi avaliar a precisão do ChatGPT em responder a perguntas sobre Alinhadores transparentes, Dispositivos de ancoragem temporária, e Imagens digitais em Ortodontia.Métodos:
45 perguntas e respostas foram geradas pelo ChatGPT 4.0 e analisadas separadamente por cinco ortodontistas que, de forma independente, avaliaram a qualidade das informações fornecidas, usando uma escala de Likert, na qual pontuações mais altas indicavam uma maior qualidade das informações (1 = muito ruim; 2 = ruim; 3 = aceitável; 4 = bom; 5 = muito bom). Aplicou-se o teste H de Kruskal-Wallis (p < 0,05) e comparações pareadas post-hoc com correção de Bonferroni.Resultados:
Das 225 avaliações dos cinco avaliadores diferentes, 11 (4,9%) foram consideradas como muito ruins, 4 (1,8%) como ruins, e 15 (6,7%) como aceitáveis. A maioria foi considerada boa [34 (15,1%)] ou muito boa [161 (71,6%)]. Com relação às pontuações dos avaliadores, percebeu-se uma leve concordância, com o Kappa de Fleiss igual a 0,004.Conclusões:
O ChatGPT mostrou eficácia em fornecer respostas de qualidade para questões relacionadas a Alinhadores transparentes, Dispositivos de ancoragem temporária e Imagens digitais.
Full text:
1
Index:
LILACS
Language:
En
Journal:
Dental press j. orthod. (Impr.)
Journal subject:
ORTODONTIA
Year:
2023
Type:
Article