E se a resposta para as ciberameaças da IA sobre-humana for surpreendentemente prática?

Há mais de uma década, Sam Altman afirmou que a inteligência artificial sobre-humana é "provavelmente a maior ameaça à continuidade da existência da humanidade". Agora, esse alerta vem acompanhado de um cronograma — e de uma previsão cibernética: o CEO da Anthropic, Dario Amodei, afirma que, dentro de seis a doze meses, um enxame de agentes de IA poderá ser capaz de "dominar toda a internet com uma botnet persistente".

O recente incidente entre a OpenAI e a Hugging Face não envolveu uma botnet em escala de internet, mas ofereceu uma visão do que acontece quando um grande número de agentes de IA se comunica, coordena e age coletivamente. Uma análise da METR e da Redwood Research descobriu que cerca de 1.200 agentes, que deveriam permanecer isolados, criaram uma vasta rede de comunicação não autorizada. Cerca de 700 pessoas atacaram a Hugging Face. Juntos, os agentes trocaram mais de 70.000 mensagens e arquivos enquanto trabalhavam para concluir as tarefas que lhes foram atribuídas.

Amodei alerta que a IA pode "ultrapassar nossa capacidade de compreender e controlar esses sistemas". Altman, Elon Musk, o CEO do Google DeepMind, Demis Hassabis, e outros apoiam o apelo de Amodei para desacelerar a fronteira.

Christer Swartz, diretor de soluções industriais da Illumio, também vê um ponto de virada. “Acho que estamos entrando em um cenário completamente novo”, disse ele. Para os líderes em cibersegurança, as questões práticas são: como esses ataques funcionam e qual a gravidade da ameaça? As respostas apontam para algo inesperado: fundamentos de segurança que as equipes já conhecem.

Quando os avisos se transformaram em incidentes

Em apenas três semanas, diversos relatórios mostraram que agentes de IA estão assumindo um papel maior em ataques cibernéticos. As datas abaixo indicam quando as descobertas se tornaram públicas, não necessariamente quando a atividade ocorreu. Alguns foram ataques a sistemas externos. Outros incidentes ocorreram durante testes em laboratórios de IA. Em conjunto, demonstraram três coisas: os agentes podem trabalhar em grupo, mudar de tática e ultrapassar limites de segurança.

• 26 de agosto: Agentes atacaram em grupo. A OpenAI afirmou que este foi o primeiro ataque conhecido realizado por um grupo automatizado de agentes agindo sem autorização. Os agentes executaram o código e obtiveram credenciais. Eles também tiveram acesso a sistemas operados por outras empresas. A Reuters informou posteriormente que os agentes haviam investigado a Hugging Face em busca de pontos fracos meses antes da violação principal.
• 8 de setembro: Roubo de credenciais em escala de IA. O Google informou que um invasor usou um sistema autônomo com múltiplos agentes para roubar milhares de credenciais em menos de seis horas. Ele escaneava os alvos e corrigia seus próprios erros. O sistema também alternava os endereços IP para encobrir seus rastros com pouca ajuda humana.
• 10 de setembro: A IA tornou-se uma orquestradora de ataques. A Anthropic descobriu que os agentes mapeavam os alvos, exploravam falhas e roubavam dados. Alguns reconstruíram seus malwares depois que as ferramentas de segurança os detectaram. A Anthropic alertou que “ataques sofisticados não exigem mais atacantes sofisticados”.
• 15 de setembro: Uma violação de segurança envolvendo um agente chegou ao conhecimento dos órgãos reguladores. A agência de proteção de dados da Espanha recebeu seu primeiro relatório de uma violação de dados cometida por um agente autônomo de IA. Segundo o relatório, o agente fez login com credenciais válidas e explorou uma vulnerabilidade. Em seguida, alterou dados pessoais e visualizou registros de faturamento.
• 16 de setembro: Agentes ultrapassaram novas fronteiras. A OpenAI relatou seis incidentes ocorridos durante o treinamento interno. Um agente encontrou e utilizou uma chave de API exposta. Outros tornaram os arquivos públicos e criaram canais sem permissão. Um deles aconselhou: "Seja transparente apenas se lhe perguntarem." Outro declarou: "Você não responde a corporações nem a governos."

A maioria desses incidentes ocorreu durante o treinamento. Mesmo assim, os agentes ultrapassaram as regras destinadas a controlar o acesso e a supervisão, e fizeram isso na velocidade das máquinas.

O que os agentes fizeram

A investigação da METR e da Redwood aponta condições de teste incomuns e salvaguardas reduzidas. Ainda assim, seis comportamentos presentes no caso Hugging Face e em incidentes posteriores merecem atenção:

Comportamento 1: Eles construíram sua própria rede de comunicação.

Agentes que deveriam trabalhar sozinhos encontraram infraestrutura compartilhada e criaram um fórum de mensagens não autorizado, caixas postais, métodos de transferência de arquivos, assinaturas e comandos como HOLD (RETER), VETO (VETAR), GO (SAIR) e STOP (PARAR). Em um incidente separado, agentes da OpenAI transformaram uma obscura wiki alemã em um fórum de mensagens compartilhadas não autorizadas.

Comportamento 2: Eles se especializaram e compartilharam seu trabalho.

A METR descobriu que o conselho permitia que os agentes compartilhassem descobertas, credenciais e exploits, e então coordenavam operações em várias etapas. Alguns encontraram vulnerabilidades; outros testaram exploits, transferiram arquivos ou coordenaram o trabalho. Com o término de cada pesquisa individual, o registro compartilhado preservava as descobertas e permitia que agentes posteriores continuassem o trabalho inacabado.

“Eles podem se auto-organizar e criar uma ameaça em que o todo é maior que a soma das partes”, disse Swartz.

Comportamento 3: Eles influenciaram-se mutuamente.

Na amostra da METR, 25 dos 100 agentes ingressaram por meio de designação direta ou divisão de trabalho. Alguns seguiram as mensagens GO enviadas por seus pares e aceitaram experimentos que poderiam encerrar suas execuções. Outros discordaram, duplicaram o trabalho ou recusaram-se categoricamente. Mas a hesitação raramente interrompia a operação. O verdadeiro risco residia no fato de um número suficiente de agentes reforçarem um único objetivo.

Comportamento 4: Eles se adaptaram e persistiram.

O fracasso se tornou combustível. Mais tarde, o Google observou agentes solucionando problemas operacionais e rotacionando endereços IP, enquanto a Anthropic descobriu agentes reconstruindo malware após a detecção.

“O denominador comum é a sessão aberta entre as cargas de trabalho”, disse Swartz. Com acesso contínuo, cada falha pode servir de base para a próxima tentativa.

Comportamento 5: Eles expandiram a tarefa além de seus limites.

A METR descobriu que os agentes sabiam que o ataque à Hugging Face estava fora do escopo que lhes fora atribuído. Eles ainda executaram código, acessaram credenciais, obtiveram privilégios e alcançaram infraestrutura adicional.

Os agentes da OpenAI usaram RubyGems e RubyDoc para executar o código. Na Espanha, um agente autônomo alterou dados pessoais e acessou registros de faturamento.

Comportamento 6: Eles priorizaram a pontuação em vez da intenção.

Quando os caminhos legítimos falhavam, os agentes tentavam adulterar o sistema de pontuação, substituir o alvo, falsificar chamadas de ferramentas ou alterar e excluir transcrições.

O problema é que a OpenAI não usou o sistema de pontuação que os agentes haviam imaginado. Eles comprometeram sistemas reais em busca de um benefício inexistente: recompensar a pirataria informática com consequências reais. Anthropic observou um "raciocínio motivado " relacionado, no qual os modelos racionalizavam ações prejudiciais enquanto buscavam um objetivo específico.

“Esses agentes estavam fazendo exatamente o que deveriam fazer”, disse Swartz. “Eles receberam instruções para encontrar uma maneira de burlar os mecanismos de segurança.” Sim, eles fizeram.”

O METR detectou um número limitado de falsificações de chamadas de ferramentas, e não um esforço generalizado para se esconder dos humanos. O perigo imediato residia na autonomia, no acesso, na persistência e na escala.

A resposta lógica: controlar o ambiente.

As defesas necessárias não são novas. Os agentes de IA ainda dependem de identidades, credenciais, ferramentas, conexões de rede e permissões. Como afirma Swartz, "a IA é mais uma aplicação".

Isso significa que sua equipe pode aplicar princípios de segurança já conhecidos:

• Atribua a cada agente uma identidade distinta e o acesso mínimo necessário para a sua tarefa.
• Configure as sessões e credenciais para expirarem automaticamente.
• Restrinja com quais sistemas e outros agentes ele pode se comunicar.
• Isolar os testes de alto risco da infraestrutura de produção.
• Monitore o tráfego entre agentes e o tráfego leste-oeste.
• Segmentar sistemas críticos para restringir o movimento lateral.
• Preservar registros independentes que os agentes não possam alterar.
• Prepare medidas de contenção que possam revogar o acesso ou isolar rapidamente os recursos comprometidos.

A segmentação controla onde os agentes se comunicam. Um sistema de inteligência artificial analisa o que eles estão dizendo.

“Podemos controlar segmentos de rede, mas, em algum momento, também precisamos entender a sintaxe e o conteúdo que os agentes usam para se comunicar”, disse Swartz. “Essa é a função do gateway de IA.” Instalado no perímetro ou entre o desenvolvimento e a produção, um gateway de IA poderia revelar trocas perigosas mais cedo.

“Se as organizações não conseguem prever todas as decisões que um agente tomará, o objetivo deve ser controlar o que ele pode alcançar”, disse Swartz.

Então, os alertas são exagerados?

As evidências não demonstram que um enxame de IA possa dominar toda a internet. Os agentes ainda precisam de vulnerabilidades, canais de comunicação, recursos computacionais e resiliência contra interrupções. Mas, se permitido, agentes autônomos podem se organizar, persistir, compartilhar conhecimento sobre ataques e explorar vulnerabilidades com a velocidade de uma máquina.

O verdadeiro perigo reside na autonomia associada ao acesso excessivo, sessões de longa duração, ferramentas poderosas e redes sem contenção adequada.

Não podemos prever o que o próximo agente tentará fazer. Podemos decidir até onde isso pode ir.