Ferramentas de inteligência artificial, como o emblemático ChatGPT, não são boas para fazer diagnósticos, argumenta um estudo publicado segunda-feira, enquanto o benefício médico da IA é examinado de perto em todo o mundo.
Publicado na Nature Medicine, este estudo, realizado entre 1.300 pessoas no Reino Unido, mostra que vários modelos de IA – ChatGPT, Llama (Meta) ou Command R+ – não fazem melhor do que uma simples pesquisa online quando um paciente pergunta sobre os seus sintomas.
“Há entusiasmo em torno da IA, mas eles simplesmente não estão prontos para substituir um médico”, disse Rebecca Payne, investigadora da Universidade de Oxford e coautora do estudo, num comunicado de imprensa.
Os participantes do estudo não estavam realmente doentes. Eles participaram de uma espécie de dramatização: os pesquisadores distribuíram-lhes dez conjuntos diferentes de sintomas, obtendo unanimidade entre a classe médica quanto ao diagnóstico a eles associado.
Apenas um terço dos participantes do estudo recebeu um diagnóstico correto. Não é melhor do que dentro de um grupo que teve que se contentar com uma busca tradicional na internet.
No entanto, alguns estudos mostraram que o ChatGPT e outros modelos podem passar com sucesso em testes médicos: colocados no lugar de um estudante de medicina que enfrenta, por exemplo, questões de múltipla escolha, as IAs funcionam bem.
Mas, mostra este novo estudo, a situação muda quando se trata de interagir com pessoas reais. Estes podem, em particular, carecer de detalhes na descrição dos seus sintomas e não fornecer todos os elementos essenciais, argumentam os investigadores.
Este estudo ocorre num contexto de grande questionamento sobre a contribuição potencial da IA em termos de informação médica, embora muitas vezes leve muito tempo para aceder a um médico em muitos países, incluindo os desenvolvidos.
Em França, a Alta Autoridade para a Saúde (HAS) deverá em breve decidir sobre os benefícios da utilização direta da IA para os pacientes. Ela já estimou no final de 2025 que essas ferramentas poderiam ser úteis para os cuidadores, se fossem usadas de forma sensata.
O estudo publicado segunda-feira tem certas limitações, como a metodologia baseada em cenários fictícios. Além disso, os modelos utilizados foram em grande parte substituídos por versões mais eficientes.
Mas “este é um estudo muito importante que destaca que os chatbots representam riscos médicos reais para o público em geral”, avalia David Shaw, especialista em bioética da Universidade de Maastricht (Holanda), à AFP.