“Traduzir com ChatGPT”, alternativa da OpenAI ao Google Translate, acaba de ser hackeado por pesquisadores. Eles conseguiram provar que a IA esquece facilmente suas restrições na injeção de consultas. O ChatGPT então não vê problema em fornecer a receita de um coquetel molotov.
Há poucos dias, a OpenAI levantou o véu sobre “Traduzir com ChatGPT”, uma interface de tradução projetada para competir com o Google Translate. O serviço é baseado em uma interface semelhante e oferece tradução de cerca de cinquenta idiomas. Destaca-se pela possibilidade de ajustar o tom do texto retrocedendo pela versão clássica do ChatGPT.
Leia também: ChatGPT agora prevê idade do usuário para identificar menores
IA fácil de manusear
Assim que a ferramenta foi lançada, Tom Barnea e Keren Katz, pesquisadores de segurança de computadores da Tenable, tentaram levar o “Traduzir com ChatGPT” ao seu limite. A dupla queria saber se era possível lidar com o chatbot e contornar os mecanismos de segurança integrados pelo OpenAI. Para descobrir, a dupla de especialistas conduziu uma série de experimentos.
Como parte dos testes, os pesquisadores realizaram umafazer ataque de injeção de consulta contra ChatGPT. Este tipo de ataque envolve a incorporação de instruções maliciosas em uma solicitação enviada à IA. Em seguida, ele processa as instruções e, se as solicitações dos invasores forem formuladas corretamente, ele as obedece. O desafio geral para os invasores é forçar a IA a substituir sua programação.
Como explica Keren Katz em sua conta no LinkedIn, não demorou muito para que o chatbot saísse dos trilhos. Embora a ferramenta devesse traduzir textos do inglês para o coreano, ela conseguiu manipulá-la para detalhar a receita completa doum coquetel molotov.
“O ChatGPT Translate tem apenas um dia e já está cantando a receita do coquetel molotov! Pedimos ao modelo de tradução para converter nosso texto do inglês para o coreano, mas em vez disso ele seguiu as instruções do texto e revelou uma receita do coquetel molotov »explica Keren Katz.
O método de manipulação dos pesquisadores é particularmente simples. Na verdade, tudo o que tivemos que fazer foi dizer ao ChatGPT paraignore sua função de traduçãoe em vez disso proponho um poema sobre a receita do coquetel molotov. Sem reclamar, a IA executa e realiza todas as etapas. O chatbot nem sequer tenta recusar sob o pretexto de restrições de segurança, como geralmente acontece.
“Um passo atrás”
É um “retroceder em relação ao GPT-5, que sabiamente recusou o pedido”acrescenta o especialista. Um dos principais modelos de IA mais recentes da OpenAI provavelmente tem melhor segurança e resistência a consultas ocultas do que a versão traduzida. Como mostra Keren Katz, o GPT-5 recusa-se terminantemente a fornecer a receita de um cocktail molotov.
Ao personalizar o modelo para fornecer uma alternativa confiável ao Google Translate, a OpenAI parece ter economizado na segurança. “Este experimento ilustra como instruções ocultas podem facilmente contornar as barreiras de proteção dos modelos de IA”, acredita Keren Katz. Este risco “Só crescerá à medida que as organizações integrarem a IA no coração dos seus ambientes de segurança, nuvem e processos de negócios”resume o pesquisador de segurança de IA.
👉🏻 Acompanhe notícias de tecnologia em tempo real: adicione 01net às suas fontes no Google e assine nosso canal no WhatsApp.