Portal de Periódicos da CAPES

Artigo Acesso aberto Produção Nacional

BIBTEX RIS

Avaliação de grandes modelos de linguagem na extração de informações clínica

2024; Volume: 16; Issue: Especial Linguagem: Português

10.59681/2175-4411.v16.iespecial.2024.1306

2175-4411

Carlos Eduardo Rodrigues Mello, Elisa Terumi Rubel Schneider, Lucas Emanuel Silva e Oliveira, Juliana Nascimento, Yohan Bonescki Gumie, Isabela Fontes De Araújo, Cláudia Maria Cabral Moro,

Artificial Intelligence in Healthcare

Objetivo: investigar a eficácia dos modelos de linguagem de grande escala (LLM) no reconhecimento de entidades nomeadas (NER) em notas clínicas em português. Método: Foi analisado o desempenho dos modelos de linguagem GPT-3.5, Gemini, Llama-3 e Sabiá-2, na realização de NER em 30 notas clínicas para identificação das entidades "Sinais ou Sintomas", "Doenças ou Síndromes" e "Dados Negados". A tarefa de NER foi avaliada pelos resultados da precisão, recall e F-score em cada um destes LLMs. Resultados: O modelo Llama-3 apresentou desempenho superior, especialmente em sensibilidade, alcançando um F-score de 0,538. O GPT-3.5 demonstrou desempenho equilibrado, enquanto o Gemini mostrou maior precisão, mas menor sensibilidade. Conclusão: Os resultados indicam que a escolha do modelo depende da ponderação adequada desses fatores em relação aos requisitos individuais de cada aplicação clínica.