Dois sistemas de inteligência artificial da OpenAI romperam as limitações de um ambiente de teste, acessaram a internet e invadiram a rede da Hugging Face, uma plataforma que fornece recursos para pesquisadores e desenvolvedores de IA, mais ou menos nos moldes do GitHub. O incidente foi divulgado pela HuggingFace em um comunicado no dia 16 deste mês, e confirmado pela OpenAI também com um comunicado no dia 21 deste mês.
O acesso não autorizado à HuggingFace teve início no pipeline de processamento de dados, explorando duas vulnerabilidades de execução remota de código. O ataque foi conduzido por um framework autônomo de agentes de IA, que executou milhares de ações a partir de um enxame de sandboxes organizados para curta duração, com infraestrutura de comando e controle auto-migratória hospedada em serviços públicos. A Hugging Face corrigiu as vulnerabilidades, reconstruiu os nós comprometidos, rotacionou credenciais e implementou controles de admissão mais rigorosos, inclusive com a ajuda de especialistas forenses externos.
A análise forense dos mais de 17 mil eventos registrados foi realizada com o modelo de peso aberto GLM 5.2, da empresa chinesa Z.AI. A Hugging Face tentou usar modelos da Anthropic — incluindo o Fable 5 e seu modelo anterior, o Opus — para analisar seus logs. Mas, como eles continham elementos de um ataque cibernético, os dois modelos se recusaram a realizar a análise, alegando limitações. A Hugging Face destacou a assimetria entre a defesa e o ataque: enquanto o agente atacante operou sem restrições, os modelos de defesa comerciais não puderam analisar os payloads maliciosos, o que reforça a necessidade de as organizações terem modelos internos e com capacidade de análise preparados para incidentes, evitando a dependência de APIs que podem recusar a análise de artefatos de ataque.
Explicações da OpenAI
Segundo a OpenAI, os modelos responsáveis pelo ataque foram o GPT-5.6 Sol, seu produto mais recente, e uma versão pré-lançamento ainda mais avançada. O software foi configurado para a avaliação com menos restrições, tornando-o menos propenso a recusar comandos de hacking. Durante o teste, porém, os dois modelos quebraram a contenção da “sandbox” — que em tese não deveria ter acesso à internet —, encontraram uma rota para a rede e, em seguida, penetraram na infraestrutura da Hugging Face: “Os modelos identificaram e encadearam vulnerabilidades entre o ambiente de pesquisa da OpenAI e a infraestrutura de produção da Hugging Face para obter soluções de teste diretamente do banco de dados de produção da Hugging Face. Todas as evidências sugerem que os modelos estavam hiperfocados em encontrar uma solução para o ExploitGym [ambiente de benchmark], chegando a extremos para atingir uma meta de teste bastante estreita“, diz o comunicado da OpenAI.
Consequências e reações do setor
A Hugging Face já havia relatado o acesso não autorizado a conjuntos de dados internos e credenciais da empresa na semana passada, sem saber se dados de clientes ou parceiros haviam sido comprometidos. O CEO da Hugging Face, Clement Delangue, declarou em uma mensagem que a sofisticação do ataque levou a equipe a suspeitar do envolvimento de um modelo de IA de ponta, o que foi confirmado posteriormente pela OpenAI.
Especialistas apontam que a ação dos modelos, que aparentemente optaram por invadir a Hugging Face como o caminho mais rápido para responder a uma pergunta de um teste de benchmark, é um exemplo de “reward hacking” — um fenômeno em que a IA busca maximizar sua recompensa por atalhos não previstos.
