Esta é uma observação de lucidez na corrida pela inteligência artificial. A OpenAI reconhece que proteger totalmente os agentes autônomos é uma tarefa que talvez nunca seja concluída. À medida que a empresa reforça seu navegador ChatGPT Atlas com simulações avançadas de ataques, ela alerta que o risco de sequestro por instruções maliciosas persistirá.
A ideia de um navegador movido por IA, capaz de navegar, ler e-mails e realizar ações em nome do usuário, é promissora, mas complexa de proteger. Numa nota técnica publicada esta segunda-feira, a OpenAI admite que o combate aos ataques de “injeção imediata” se assemelha mais a uma batalha perpétua, comparável à gestão de spam ou phishing, do que a um clássico problema de TI que pode ser resolvido com uma simples atualização. Esta declaração recomenda cautela ao usar o “modo Agente” do navegador ChatGPT Atlas, lançado em outubro passado.
O calcanhar de Aquiles dos assistentes autônomos
O cerne do problema reside na própria natureza dos agentes de IA. Para serem úteis, devem processar dados externos (páginas web, e-mails, documentos) que podem conter armadilhas. O ataque de injeção imediata consiste em ocultar instruções maliciosas nesses conteúdos, às vezes de forma invisível ao olho humano. A IA, ao ler a página para cumprir a sua tarefa, corre o risco de interpretar estes dados como ordens de prioridade e desviar-se da sua missão inicial.
Para ilustrar este risco teórico, a OpenAI partilhou uma demonstração interessante. Nesse cenário, um usuário pede ao agente para gerenciar seus e-mails para escrever uma resposta automática de ausência temporária. A IA então se depara com um e-mail armadilhado contendo uma instrução oculta ordenando que ele escreva uma carta de demissão. Na simulação, o agente, enganado por esta falsa autoridade, atende e envia a demissão em vez da mensagem de ausência. Embora este exemplo seja uma demonstração interna, destaca a necessidade de manter a supervisão humana das ações do autômato.
Defesa proativa baseada em simulação
Diante deste risco estrutural, a OpenAI não permanece inativa e implanta uma estratégia de defesa sofisticada: o requipe educacional automatizado. A empresa agora usa IA treinada especificamente para atacar seus próprios sistemas. Este modelo “hacker” testa milhares de cenários virtuais para tentar burlar a segurança do ChatGPT Atlas. A vantagem deste método é que o atacante virtual tem uma visão privilegiada do funcionamento interno do agente, permitindo-lhe descobrir vulnerabilidades complexas muito mais rapidamente do que um atacante humano externo.
Esta abordagem já permitiu à OpenAI corrigir vulnerabilidades não publicadas antes de serem realmente exploradas. No entanto, especialistas em segurança cibernética, como Rami McCarthy, da empresa Wiz, apontam que não existe risco zero. Segundo ele, os navegadores dos agentes combinam autonomia moderada com acesso altíssimo a dados sensíveis do usuário, o que exige vigilância constante. A OpenAI também recomenda que os usuários sejam específicos em suas solicitações, evitem dar “carta branca” à IA para tarefas críticas e sempre verifiquem as solicitações de confirmação antes que uma ação irreversível, como um pagamento ou envio de uma mensagem, seja executada.
👉🏻 Acompanhe notícias de tecnologia em tempo real: adicione 01net às suas fontes no Google e assine nosso canal no WhatsApp.
Por: Ópera
Fonte :
TechCrunch