O ExploitGym é o nome do benchmark entregue pela OpenAI a dois de seus modelos (um é o GPT-5.6 Sol e outro uma versão de pré-lançamento ainda mais avançada) para testes numa sandbox. Para cumprir os desafios do benchmark, os modelos descobriram vulnerabilidades na sandbox, alcançaram a Internet e invadiram a plataforma HuggingFace, especializada em conteúdo para desenvolvimento de IA. O incidente foi revelado pela HuggingFace no dia 16 de Julho.
O ExploitGym é na verdade o resultado de um estudo acadêmico que tem 16 autores, sendo eles das universidades de Berkeley, do Max Planck Institute, da Universidade da Califórnia em Santa Barbara e da Universidade do Arizona. Estão também citados como autores um pesquisador da Anthropic, um da OpenAI e um do Google. Segundo o artigo, o projeto do benchmark e a metodologia experimental foram desenvolvidos pelos autores acadêmicos; os parceiros da indústria forneceram “feedback sobre o design do benchmark, facilitaram o acesso aos seus modelos e auxiliaram na execução de experimentos selecionados”.
O artigo apresenta o ExploitGym como um benchmark projetado para testar a habilidade de agentes de inteligência artificial em transformar vulnerabilidades de software em explorações (exploits) funcionais. O artigo, que ainda não passou por revisão por pares, descreve uma plataforma de avaliação que vai além da simples descoberta de falhas, desafiando os modelos a executar etapas complexas para obter controle sobre sistemas vulneráveis.
No entanto, o ExploitGym é bem diferente de outros testes de cibersegurança para IA, porque ele não se limita a verificar se um modelo identifica um bug. O benchmark exige que o agente, partindo de uma prova de vulnerabilidade (PoV) que apenas confirma uma falha, desenvolva um código que explore essa falha para executar comandos não autorizados ou acessar arquivos restritos. A construção do exploit é considerada particularmente difícil, pois envolve raciocínio preciso sobre a execução do programa em baixo nível, adaptação em runtime e manutenção do progresso do ataque ao longo de várias outras etapas.
Estrutura e resultados do benchmark
O ExploitGym foi construído com 898 instâncias de vulnerabilidades reais (com todos os detalhes existentes e disponíveis), extraídas de três domínios críticos: 520 instâncias de programas de usuário (como FFmpeg e OpenSSL), 185 do engine do JavaScript V8 (usado em navegadores Chromium, por exemplo) e 193 do kernel do Linux. Cada instância é testada em dois cenários: com e sem as principais defesas de segurança ativadas, como ASLR (randomização de endereços), canários de pilha (na proteção de buffer overflows) e sandboxes. Os ambientes de teste são completamente reproduzíveis, permitindo que outros pesquisadores verifiquem os resultados.
Os resultados na pesquisa
Os experimentos descritos no artigo avaliaram modelos de ponta como Claude Mythos Preview, GPT-5.5 e GPT-5.4. Com um limite de duas horas por tarefa e com as defesas desativadas, os melhores desempenhos foram do Claude Mythos Preview (com Claude Code), que conseguiu 157 explorações bem-sucedidas, e do GPT-5.5 (com Codex CLI), com 120 resultados positivos. Os resultados do ensaio também mostraram que modelos como GPT-5.4 ficaram em um patamar intermediário (54 positivos), enquanto a maioria dos outros modelos teve menos de 15 resultados positivos. O estudo também destaca que os agentes frequentemente descobrem e exploram vulnerabilidades alternativas, diferentes daquelas fornecidas como alvo. E que, mesmo com defesas padrão ativadas, alguns modelos mantêm taxas de sucesso relevantes, especialmente em tarefas contra um kernel. O estudo também alerta, na seção 4, que “os agentes descobrem e exploram, independentemente, vulnerabilidades alternativas, além do trajeto de ataque planejado”.
O alerta dos pesquisadores
O trabalho dos pesquisadores ressalta que a capacidade de gerar explorações de forma autônoma é uma habilidade de uso duplo – benéfica para defensores que precisam avaliar a gravidade de falhas, mas também perigosa para atacantes que podem automatizar e escalar seus ataques. Embora os autores enfatizem que a exploração ainda é desafiadora para a maioria dos modelos, os resultados demonstram que a geração automatizada de exploits por IA não é mais uma possibilidade teórica.
O artigo conclui que as mitigações tradicionais, como ASLR (randomização do layout do espaço de endereço da aplicação) e sandboxes, continuam sendo barreiras eficazes, mas não intransponíveis para os agentes de IA avançados. Por causa disso, os pesquisadores recomendam que as organizações invistam na segurança em profundidade e considerem explicitamente a capacidade de agentes autônomos em seus modelos de ameaça, além de defenderem a manutenção de modelos de IA locais e sem restrições para análises forenses de incidentes.
O ExploitGym está disponível publicamente como uma ferramenta para a comunidade de segurança, com o objetivo de informar o desenvolvimento responsável de IA e o fortalecimento de defesas cibernéticas.
As diferenças entre duas experiências
O ambiente de teste descrito pelos pesquisadores do ExploitGym tem as características de um sandbox de última geração, combinando realismo — com suas 898 instâncias de vulnerabilidades reais — com o controle absoluto, obtido por meio de containerização completa, sistemas de “flags” para validação objetiva de sucesso e defesas de segurança configuráveis (como ASLR e canários de pilha) que podem ser ativadas ou desativadas de forma independente.
Essa arquitetura é destinada a proporcionar um controle rigoroso e seguro das capacidades ofensivas dos modelos de IA, onde até mesmo um “escape” da sandbox está contido dentro da própria infraestrutura de teste.
Por outro lado, o ambiente da OpenAI, embora também possuísse uma sandbox, provou ser mais frágil: ele dependia de um proxy de pacotes para controlar o acesso à internet – camada de contenção que os agentes de IA conseguiram subverter ao explorar um zero-day nesse serviço. Uma vez livres, os modelos agiram de forma autônoma.
Ao passo que o ExploitGym isola o experimento em um ambiente controlado para medir uma capacidade, o incidente com a OpenAI indica o que pode acontecer quando o isolamento falha: a capacidade medida se manifesta no mundo real de forma autônoma e imprevisível. A conclusão inevitável é que os ensaios com IA para segurança cibernética não podem depender de sandboxes tradicionais: é essencial adotar uma arquitetura de defesa com múltiplas camadas de contenção e controles de ação pré-determinados, como utilizados no ExploitGym.
