Inteligência Artificial na Educação Médica: Explorando o Potencial do ChatGPT como Ferramenta de Estudo em Oftalmologia

Resumo

INTRODUÇÃO: A introdução recente de grandes modelos de linguagem (LLMs) baseados na inteligência artificial (IA), sendo o ChatGPT o mais popular, despoletou o interesse sobre a sua aplicação em Oftalmologia. Este trabalho propõe-se a explorar o contributo do ChatGPT como auxiliar de estudo no internato de Oftalmologia.
MATERIAL E MÉTODOS: Foi apresentado ao ChatGPT 3.5 (OpenAI, Estados Unidos da América) uma simulação de exame de Oftalmologia, constituído por 260 questões de escolha múltipla, distribuídas pelas 13 áreas de conhecimento do Curso de Ciência Básica e Clínica da Academia Americana de Oftalmologia 2022-2023. Especialistas do Centro Hospitalar de Lisboa Ocidental classificaram a justificação apresentada pelo ChatGPT: 1 (muito fraca), 2 (fraca), 3 (satisfatória), 4 (boa) e 5 (muito boa). Procuramos completar a exatidão do modelo (número de questões certas, na experiência direta E1 e/ou prompted E2) com a precisão (consistência inter-resposta em 3 repetições), bem como estudar a qualidade das justificações, como elementos inovadores.
RESULTADOS: A exatidão do ChatGPT foi de 63,1%, aumentando para 64,2% na experiência guiada. Em ambos, o melhor desempenho registou-se nos fundamentos de oftalmologia (75,0% e 76,7%) e o pior em oculoplástica e órbita (46,7% e 55,0%), óptica e reabilitação e uveíte e inflamação (55,0% e 53,3%; 55,0% e 53,3%). Não se verificou diferença estatisticamente significativa entre o formato da pergunta ou o domínio avaliado e o desempenho do modelo. O ChatGPT acertou as respostas todas as três vezes em 69,3% dos casos, duas vezes em 17,2% e apenas uma vez em 13,5% das situações. Em 94,7% as justificações foram consideradas no mínimo satisfatórias (≥3), destas 47,4% atingindo a classificação máxima.
CONCLUSÃO: Os nossos resultados corroboram aqueles descritos na literatura sobre LLMs e bancos de questões oftalmológicas. A natureza probabilística, a ausência de treino específico em Oftalmologia, a incapacidade de assegurar o estado da arte e de processar imagens foram as principais limitações apontadas. Reconhecendo a competência do ChatGPT em fornecer respostas certas sobre temas diferenciados em Oftalmologia, consideramos precoce recomendá-lo como material de estudo apropriado para internos. Contudo, demonstra desde já a exatidão, a precisão e a qualidade científica necessárias para possivelmente se tornar um auxiliar, especialmente se no futuro for treinado especificamente em Oftalmologia.