Uma nova técnica de ataque cibernético usando o ChatGPT da OpenAI surgiu, permitindo que invasores espalhem pacotes maliciosos em ambientes de desenvolvedores. A equipe de pesquisa Voyager18 da Vulcan Cyber descreveu a descoberta em um comunicado publicado nesta terça-feira, 6.
“Vimos o ChatGPT gerar URLs, referências e até bibliotecas de código e funções que não existem de fato. Essas alucinações de grandes modelos de linguagem (LLMs) foram relatadas antes e podem ser o resultado de dados de treinamento antigos”, explica o artigo técnico elaborado pelo pesquisador Bar Lanyado da Vulcan Cyber.
Aproveitando os recursos de geração de código do ChatGPT, invasores podem explorar bibliotecas de código fabricadas (pacotes) para distribuir pacotes maliciosos, ignorando métodos convencionais, como typosquatting ou mascaramento.
Em particular, Lanyado disse que a equipe identificou uma nova técnica de disseminação de pacotes maliciosos que eles chamaram de “alucinação de pacotes AI”. A técnica envolve fazer uma pergunta ao ChatGPT, solicitar um pacote para resolver um problema de codificação e receber várias recomendações de pacotes, incluindo algumas não publicadas em repositórios legítimos. Ao substituir esses pacotes inexistentes por outros maliciosos, os invasores podem enganar os usuários futuros que confiam nas recomendações do ChatGPT.
Uma prova de conceito (PoC) utilizando o ChatGPT 3.5 ilustra os riscos potenciais envolvidos. “Na PoC, veremos uma conversa entre um invasor e o ChatGPT, usando a API, onde o ChatGPT sugerirá um pacote npm não publicado chamado arangodb”, explicou a equipe da Vulcan Cyber. “Depois disso, o invasor simulado publicará um pacote malicioso no repositório NPM para definir uma armadilha para um usuário desavisado.”
Veja isso
Apps falsos de ChatGPT levam usuários a perdas milionárias
Domínios maliciosos relacionados ao ChatGPT aumentam 910%
Em seguida, a PoC mostra uma conversa em que um usuário faz a mesma pergunta ao ChatGPT e o modelo responde sugerindo o pacote inicialmente inexistente. No entanto, neste caso, o invasor transformou o pacote em uma criação maliciosa. “Finalmente, o usuário instala o pacote e o código malicioso pode ser executado.”
A detecção de alucinações de pacotes de IA pode ser desafiadora, pois os operadores de ameaças empregam técnicas de ofuscação e criam pacotes de trojan funcionais, de acordo com o comunicado.Para mitigar os riscos, os desenvolvedores devem examinar cuidadosamente as bibliotecas, verificando fatores como data de criação, contagem de downloads, comentários e notas anexadas. Permanecer cauteloso e cético em relação a pacotes suspeitos também é crucial para manter a segurança do software.
