Produção Nacional
Evaluating large language models for anaphylaxis detection in clinical notes
2024; Volume: 16; Issue: Especial Linguagem: Português
10.59681/2175-4411.v16.iespecial.2024.1364
ISSN2175-4411
AutoresMatheus Machado, Joana Marques, Fabrício Amadeu Gualdani, M Santos, F. Lario, Chayanne Andrade de Araújo, Fabiana Andrade Nunes Oliveira, Luís Felipe Ensina, Ricardo Marcondes Marcacini, Dilvan A. Moreira,
Tópico(s)Food Allergy and Anaphylaxis Research
ResumoObjetivo: Este estudo tem como objetivo avaliar o potencial de quatro Modelos de Linguagem de Grande Escala (LLMs) (GPT-4 Turbo, GPT-3.5 Turbo, Gemini 1.0 Pro e OpenChat 3.5) na detecção de anafilaxia em Registros Médicos Eletrônicos (EMRs). Método: O método empregado envolveu a análise de 150 relatórios médicos, utilizando diferentes prompts para testar a capacidade dos LLMs em identificar a anafilaxia. Resultados: Os resultados indicam que todos os modelos obtiveram zero falsos negativos, com destaque para o GPT-4 Turbo, que alcançou 97% de acurácia e 91% de precisão. Conclusão: Conclui-se que os LLMs demonstram potencial para auxiliar na identificação da anafilaxia, especialmente o GPT-4 Turbo. A pesquisa reforça a importância do design eficiente de prompts para otimizar a acurácia dos resultados.
Referência(s)