Mistral AI, a pepita francesa da inteligência artificial, tem um calcanhar de Aquiles. Um estudo recente da NewsGuard revela que o seu chatbot de consumo retransmite campanhas de propaganda estatal mais de metade do tempo.
O carro-chefe tricolor da IA generativa tem uma falha. Embora o Mistral AI tenha uma série de sucessos e tenha mais de um milhão de usuários regulares, seu chatbot público em geral é particularmente vulnerável a informações falsas. De acordo com dados do NewsGuard transmitidos por Os Ecosa inteligência artificial francesa repete notícias falsas em mais da metade dos casos.
O fenômeno assume proporções preocupantes quando observamos os temas discutidos. Os investigadores compararam a ferramenta a conhecidas campanhas de propaganda, orquestradas por redes próximas dos estados russos, chineses ou iranianos. Como resultado, o robô contou histórias completamente infundadas. Por exemplo, ele afirmou que uma grave epidemia de tifo eclodiu a bordo do porta-aviões Charles-de-Gaulle, que o chanceler alemão comprou secretamente um Boeing para convertê-lo num avião apocalíptico capaz de resistir às armas nucleares, ou que centenas de soldados americanos morreram durante a guerra no Irão.
Uma falha diante das fábricas de “notícias falsas”
Para avaliar a confiabilidade do modelo, o NewsGuard simulou conversas em inglês e francês adotando três comportamentos distintos: um usuário neutro, um indivíduo que busca espalhar voluntariamente informações ruins e um internauta que simplesmente pede esclarecimentos sobre um boato. É neste último perfil que reside mais o problema. Quando pedimos detalhes sobre uma notícia falsa, o Le Chat de Mistral valida a desinformação em 60% dos casos em inglês e até 70% em francês. Chine Labbé, gestor europeu da NewsGuard, explica este pior desempenho na língua de Molière por um volume muito menor de verificação de factos do que em inglês sobre estes assuntos geopolíticos.
Essa permeabilidade pode ser explicada pelo método de treinamento e pesquisa da inteligência artificial. Tom David, presidente do GPAI Policy Lab, salienta que estas ferramentas sugam massivamente dados da Internet, misturando o verdadeiro com o falso sem qualquer distinção real. Os modelos podem receber diretrizes para direcionar fontes confiáveis, mas não há garantia de que essas diretrizes serão rigorosamente aplicadas. Redes de propaganda, como o grupo russo Storm-1516 ou a galáxia Pravda, exploram esta vulnerabilidade com uma eficiência formidável, inundando a web com sites de informações falsas para saturar os motores de busca e contaminar as respostas dos chatbots.
Uma questão de confiança para o campeão nacional
Se esta taxa de repetição da desinformação afecta muitos intervenientes no sector (quase 30% em média em 11 ferramentas concorrentes testadas em Janeiro passado, incluindo ChatGPT, Claude ou Perplexity), a situação de Mistral é particularmente digna de nota. No início do ano, a startup teve o pior desempenho nesta auditoria com taxa de repetição de 50%. Um número que melhorou ligeiramente em inglês em comparação com um teste semelhante realizado em julho passado, mas não em francês.
Leia também: Testamos Le Chat de Mistral por 1 semana: a IA francesa pode nos fazer esquecer o ChatGPT?
A empresa beneficia, no entanto, de uma forte aura institucional, nomeadamente com uma parceria assinada com a AFP e um contrato conquistado com o Ministério das Forças Armadas francês. Embora os militares utilizem uma versão profissional desligada da Internet por razões óbvias de segurança, o público em geral percebe este apoio estatal como uma garantia de confiança na versão gratuita. Numa guerra de informação híbrida, onde cada plataforma se torna um campo de batalha, a capacidade dos campeões tecnológicos europeus para filtrar a propaganda revela-se crucial. A Mistral, por sua vez, não quis reagir publicamente às conclusões deste estudo.
👉🏻 Acompanhe notícias de tecnologia em tempo real: adicione 01net às suas fontes no Google e assine nosso canal no WhatsApp.