Portal de Periódicos da CAPES

DESEMPENHO DO CHATGPT E DO BARD AI NAS PROVAS DO EXAME NACIONAL DE REVALIDAÇÃO DE DIPLOMAS MÉDICOS DO BRASIL - REVALIDA

2024; Volume: 22; Linguagem: Português

10.13037/ras.vol22.e20249478

2359-4330

Fernanda Gabriele Fernandes Morais, Sabrine Teixeira Ferraz Grünewald,

Public Health in Brazil

INTRODUÇÃO: O ChatGPT e o Bard AI são ferramentas de inteligência artificial construídas de forma a gerar linguagem semelhante à humana e realizar uma ampla gama de tarefas. Essas ferramentas vêm sendo estudadas quanto a inúmeras aplicações, inclusive no campo da educação médica, avaliando o desempenho em exames relevantes para o exercício profissional. OBJETIVOS: O objetivo deste estudo foi avaliar e comparar o desempenho do ChatGPT-3.5 e do Bard AI em responder às questões da prova escrita do exame nacional brasileiro para revalidação de diplomas médicos de 2023. MATERIAIS E MÉTODOS: As questões das provas objetivas foram inseridas nas ferramentas e as respostas obtidas foram comparadas com os gabaritos oficiais. As questões foram classificadas por área, cenário e complexidade. RESULTADOS: Ambas as ferramentas tiveram mais de 60% de acertos, sendo que o Bard AI foi o modelo com melhor desempenho. Não houve diferenças estatisticamente significativas no desempenho das ferramentas quando as questões foram classificadas quanto a área, cenário ou complexidade. CONCLUSÕES: É importante que os profissionais de saúde reconheçam os potenciais e as limitações dessas ferramentas, e que as pesquisas avancem para que possam ser efetivamente utilizadas na educação médica.