Um estudo feito por seis pesquisadores de três universidades americanas mostra que há um novo tipo de ameaça à cadeia de suprimentos de software: alucinações de pacotes. Segundo eles, isso é causado pela dependência de linguagens de programação populares, como Python e JavaScript, em repositórios de pacotes centralizados e software de código aberto, combinada com o surgimento de Large Language Models (LLMs) geradores de código. Essas alucinações, que surgem de erros de conflito de fatos ao gerar código usando LLMs, representam uma nova forma de ataque de confusão de pacotes que representa uma ameaça crítica à integridade da cadeia de suprimentos de software.
Leia também
Simulação leva LLMs a criarem jailbreaks
Insegurança derruba investimentos e retarda I.A.
A pesquisa, agora publicada num artigo, fez uma avaliação rigorosa e abrangente de alucinações de pacotes em diferentes linguagens de programação, configurações e parâmetros, explorando como um conjunto diversificado de modelos e configurações afeta a probabilidade de gerar recomendações errôneas de pacotes – e identificando as causas raiz desse fenômeno.
Foram utilizadas 16 LLMs populares para geração de código e dois conjuntos de dados de prompt exclusivos. Os pesquisadores geraram 576.000 amostras de código em duas linguagens de programação, analisadas em busca de alucinações de pacotes. As descobertas revelam que a porcentagem média de pacotes alucinados é de pelo menos 5,2% para modelos comerciais e 21,7% para modelos de código aberto, incluindo 205.474 exemplos únicos de nomes de pacotes alucinados, “ressaltando ainda mais a gravidade e a abrangência dessa ameaça. Para superar esse problema, implementamos diversas estratégias de mitigação de alucinações e demonstramos que elas são capazes de reduzir significativamente o número de alucinações de pacotes, mantendo a qualidade do código”.
Os pesquisadores ressaltam que os experimentos e descobertas “destacam as alucinações de pacotes como um fenômeno persistente e sistêmico ao utilizar LLMs de última geração para geração de código, e um desafio significativo que merece a atenção urgente da comunidade de pesquisa”.
