Pesquisar
Image by Rudy and Peter Skitterians from Pixabay

Envenenamento de modelos: risco de supply chain em IA

Pesquisadores da ReversingLabs publicaram uma análise sobre pacotes maliciosos hospedados no PyPI que se passavam por SDKs do Alibaba AI Labs. Esses pacotes, ao serem instalados, carregavam modelos do PyTorch com código infostealer embutido em arquivos Pickle, expondo falhas na detecção de ameaças em cadeias de suprimentos de IA.

Leia também
Windows 11 testa criptografia quântica resistente
Saúde: informações pessoais em 81% das violações de políticas

Os três pacotes — aliyun-ai-labs-snippets-sdk, ai-labs-snippets-sdke e aliyun-ai-labs-sdk — foram baixados cerca de 1.600 vezes antes de serem removidos. Embora sem qualquer funcionalidade legítima, os pacotes executavam código em base64 para extrair informações sensíveis como nome do usuário, endereço de rede, dados do arquivo .gitconfig e nome da organização, enviando tudo a servidores controlados pelos invasores.

O ataque abusou do formato Pickle, utilizado na serialização de modelos de machine learning. Como o Pickle permite a execução de código arbitrário durante a desserialização, os modelos de ML tornaram-se um vetor de ataque eficaz. A detecção é difícil, pois ferramentas de segurança ainda não têm suporte adequado para inspeção desses formatos.

Enquanto plataformas como a Hugging Face adotaram medidas como a ferramenta Picklescan para mitigar riscos, pesquisadores apontam que técnicas de evasão ainda conseguem contornar essas proteções. No caso do PyPI, a detecção é ainda mais difícil, pois os modelos maliciosos estavam ocultos dentro dos pacotes, com múltiplas camadas de ofuscação.

Segundo os pesquisadores, os desenvolvedores são alvos valiosos por armazenarem credenciais e tokens sensíveis. Acredita-se que o ataque tenha como foco principal desenvolvedores chineses, usuários típicos dos serviços da Alibaba, mas a técnica pode ser adaptada para atingir qualquer público. A campanha demonstra que a proteção de modelos de ML é uma área crítica ainda pouco explorada pelas soluções tradicionais de segurança.