A Check Point Software realizou um hackathon interno de dois dias organizado pelas equipes de Pesquisa e Desenvolvimento em segurança de IA baseadas em Zurique, na Suíça, e Tel Aviv, em Israel. Durante o encontro, 19 equipes desenvolveram diferentes protótipos tecnológicos e os especialistas da empresa identificaram um padrão preocupante no comportamento dos agentes autônomos, segundo comunicado da Check Point. A IA não precisa ser interceptada nem conduzida por um cibercriminoso externo para se desviar de suas funções, tomar decisões de alto risco ou gerar um problema de segurança.
De acordo com a empresa, os experimentos demonstraram que, quando esses sistemas enfrentam limitações de projeto ou tarefas sem uma solução clara, tendem a raciocinar e improvisar atalhos perigosos, impulsionados exclusivamente pelo objetivo de concluir a tarefa. Além disso, os experimentos demonstraram a necessidade de supervisionar o comportamento dos agentes de IA durante a execução, com base no contexto de suas ações. Em determinados cenários, modificar a resposta do sistema mostrou-se mais eficaz do que simplesmente bloquear ações suspeitas.
Três situações de risco identificadas
Por meio de simulações em ambientes controlados, conhecidos como sandbox, a equipe da Check Point identificou três situações que mostram como agentes de IA podem apresentar comportamentos de risco mesmo sem ação externa para provocá-los. Na primeira, um agente autônomo de engenharia de confiabilidade de sites tentou reiniciar um banco de dados de produção ao receber uma tarefa impossível de executar, interrompeu conexões de clientes e tentou ampliar seus próprios privilégios por meio de força bruta. O sistema agiu sem intenção maliciosa ou manipulação externa, justificando cada ação de risco como uma etapa lógica para concluir seu trabalho.
Na segunda situação, instruções ocultas em um único arquivo de um repositório de código foram suficientes para afetar agentes populares, como Claude Code e Codex, fazendo com que extraíssem credenciais. Conforme a Check Point, o teste demonstrou que qualquer pessoa que escreva no ambiente ou no contexto de leitura do agente passa, na prática, a compartilhar o controle sobre suas decisões. Na terceira situação, ao comparar nove estratégias diante de comportamentos suspeitos, os pesquisadores observaram que a negação direta interrompia o ataque, mas também invalidava o trabalho legítimo. Quando o sistema de controle questionava a ação e orientava o agente a revisar a solicitação original do usuário, a mesma quantidade de ataques era evitada, enquanto as tarefas atribuídas eram concluídas com sucesso.
Recomendações da Check Point
Conforme o comunicado, os resultados do hackathon mostram que a segurança de agentes de IA precisa considerar também o comportamento diante de falhas e o contexto utilizado para tomar decisões. Por isso, a Check Point recomenda que as empresas se preparem para situações em que os agentes improvisem diante de tarefas que não conseguem executar, tratem arquivos, páginas e mensagens acessados pelos agentes como possíveis superfícies de ataque e adotem mecanismos capazes de identificar ações fora do objetivo original. Nesses casos, afirma a empresa, redirecionar o agente para a tarefa legítima pode oferecer proteção equivalente ao bloqueio, com menor impacto sobre a execução do trabalho.
